Oppmerksomhet
term_id: attention
Category: training_techniques
Definition
Oppmerksomhetsmekanismer gjør det mulig for modeller å fokusere på relevant informasjon ved behandling av inndata, spesielt i sekvensielle data som tekst. Ved å beregne oppmerksomhetspoeng fastsetter modellen hvilke eleme…
Summary
En mekanisme som lar nevrale nettverk veie viktigheten av ulike deler av inngangssekvensen dynamisk.
Key Concepts
- Selvoppmerksomhet
- Kontekstuell vekting
- Langtrekkende avhengigheter
- Transformerarkitektur
Use Cases
- Maskinoversettelse mellom språk
- Sammendrag av lange dokumenter
- Bildeteksting og visuelle spørsmålsbesvarelser