תשומת לב עצמית

term_id: self_attention

Category: basic_concepts

Definition

תשומת לב עצמית מאפשרת למודלים לתפוס תלות בין כל המיקומים ברצף בו זמנית, ללא קשר למרחק. על ידי חישוב ציוני תשומת לב בין כל זוג טוקנים, היא מאפשרת הבחנה בהקשר.

Summary

מנגנון המאפשר לרשת נוירונים לשקול את חשיבותם של חלקים שונים ברצף הקלט ביחס זה לזה.

Key Concepts

  • שאילתה-מפתח-ערך (Query-Key-Value)
  • ציוני תשומת לב
  • משקל הקשרי
  • עיבוד מקבילי

Use Cases

  • תרגום מכונה
  • סיכום טקסט
  • מיון תמונות באמצעות Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related