Oppmerksomhetsmekanisme
term_id: attention_mechanism
Category: basic_concepts
Definition
En oppmerksomhetsmekanisme gjør det mulig for en modell dynamisk å vekte viktigheten av ulike elementer i en inndatasekvens. I stedet for å behandle all inndata likt, tildeles ulike nivåer av signifikans
Summary
En teknikk som lar nevrale nettverk fokusere på spesifikke deler av inndata når de produserer resultater.
Key Concepts
- Selvoppmerksomhet
- Kontekstvektorer
- Vektet sum
- Transformerarkitektur
Use Cases
- Modeller for maskinoversettelse
- Generering av bildetekster
- Tekstsammendrag