טרנספורמר

term_id: transformer

Category: basic_concepts

Definition

הארכיטקטורה הטרנספורמר, שהוצגה במאמר ‘Attention Is All You Need’, שינתה פנים בתחום העיבוד השפה הטבעית ומעבר לו. היא משתמשת בקשב עצמי רב-ראשי כדי לתת משקל חשיבות שונה לחלקים שונים בקלט, מה שמאפשר הבנה עמוקה של הקשר.

Summary

ארכיטקטורה של למידה עמוקה המבוססת על מנגנוני קשב עצמי (Self-Attention) ומעבדת נתונים רציפים במקביל ולא ברצף.

Key Concepts

  • קשב עצמי
  • קשב רב-ראשי
  • קידוד מיקום
  • מבנה מקדם-מפענח

Use Cases

  • תרגום מכונה
  • יצירת טקסט
  • זיהוי תמונות (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related