מנגנון תשומת לב
term_id: attention_mechanism
Category: basic_concepts
Definition
מנגנון תשומת לב מאפשר למודל לשקול את חשיבותם של אלמנטים שונים בתוך רצף קלט באופן דינמי. במקום להתייחס לכל נתוני הקלט באותה מידה, הוא מקצה רמות משקל שונות.
Summary
טכניקה המאפשרת לרשתות נוירונים להתמקד בחלקים ספציפיים של נתוני הקלט בעת יצירת פלט.
Key Concepts
- תשומת לב עצמית
- וקטורי הקשר
- סכום משוקלל
- ארכיטקטורת טרנספורמר
Use Cases
- מודלים לתרגום מכונה
- יצירת כיתובים לתמונות
- סיכום טקסט