Figyelem (Attention)
term_id: attention
Category: training_techniques
Definition
A figyelemmechanizmusok lehetővé teszik a modellek számára, hogy releváns információkra fókuszáljanak a bemenetek feldolgozása során, különösen szekvenciális adatok, mint a szöveg esetén. A figyelemi pontok kiszámításával a modell meghatározza, mely elemekre…
Summary
Egy mechanizmus, amely lehetővé teszi a neurális hálózatok számára, hogy dinamikusan súlyozzák a bemeneti szekvencia különböző részeinek fontosságát.
Key Concepts
- Önfigyelem (Self-attention)
- Kontextuális súlyozás
- Hosszú távú függőségek
- Transzformátor architektúra
Use Cases
- Gépi fordítás nyelvek között
- Hosszú dokumentumok összefoglalása
- Képaláírás-készítés és vizuális kérdés-választás