Opmærksomheds mekanisme
term_id: attention_mechanism
Category: basic_concepts
Definition
En opmærksomheds mekanisme giver en model mulighed for dynamisk at vægte betydningen af forskellige elementer i en inputsekvens. I stedet for at behandle alle inputdata ens, tildeler den varierende niveauer af signifikans
Summary
En teknik, der gør det muligt for neurale netværk at fokusere på specifikke dele af inputdata, når de producerer output.
Key Concepts
- Selvopmærksomhed
- Kontekstvektorer
- Vægtet sum
- Transformerarkitektur
Use Cases
- Modeller til maskinoversættelse
- Generering af billedtekster
- Tekstsammendrag