Figyelemmechanizmus
term_id: attention_mechanism
Category: basic_concepts
Definition
A figyelemmechanizmus lehetővé teszi egy modell számára, hogy dinamikus súlyt adjon a bemeneti szekvencián belüli különböző elemek fontosságának. Ahelyett, hogy minden bemeneti adatot egyenlő mértékben kezelne, változó szintű jelentőséget tulajdonít nekik.
Summary
Egy technika, amely lehetővé teszi a neurális hálózatok számára, hogy a kimenetek előállítása során a bemeneti adatok specifikus részeire fókuszáljanak.
Key Concepts
- Önfigyelem (Self-Attention)
- Kontextusvektorok
- Súlyozott összeg
- Transformer architektúra
Use Cases
- Gépi fordító modellek
- Képaláírás-generálás
- Szövegösszefoglalás