Huomio (Attention)
term_id: attention
Category: training_techniques
Definition
Huomiomekanismit mahdollistavat mallien keskittyvät relevanttiin tietoon syötteitä käsiteltäessä, erityisesti sekvenssidatassa kuten tekstin. Laskemalla huomiopisteet malli määrittää…
Summary
Mekanismi, joka mahdollistaa neuroverkoille eri osien painottamisen syötesekvenssissä dynaamisesti.
Key Concepts
- Itsehuomio (Self-Attention)
- Kontekstuaalinen painotus
- Pitkän matkan riippuvuudet
- Transformer-arkkitehtuuri
Use Cases
- Konekäännös kielten välillä
- Pitkien dokumenttien tiivistäminen
- Kuvatekstitys ja visuaalinen kysymyksiin vastaaminen