תשומת לב
term_id: attention
Category: training_techniques
Definition
מנגנוני תשומת לב מאפשרים למודלים להתמקיד במידע רלוונטי בעת עיבוד קלטים, במיוחד בנתונים רציפים כמו טקסט. על ידי חישוב ציוני תשומת לב, המודל קובע אילו רכיבים…
Summary
מנגנון המאפשר לרשתות נוירונים לשקול דינמית את חשיבותם של חלקים שונים ברצף הקלט.
Key Concepts
- תשומת לב עצמית
- משקל הקשרי
- תלויות לטווח ארוך
- ארכיטקטורת טרנספורמר
Use Cases
- תרגום מכונה בין שפות
- סיכום מסמכים ארוכים
- כיתוב תמונות ושאלות מבוססות תמונה