Uppmärksamhetsmekanism
term_id: attention_mechanism
Category: basic_concepts
Definition
En uppmärksamhetsmekanism gör det möjligt för en modell att dynamiskt väga vikten av olika element i en indatasekvens. Istället för att behandla all indata lika tilldelas varierande nivåer av signifikans
Summary
En teknik som gör det möjligt för neuronnät att fokusera på specifika delar av indata när de producerar utdata.
Key Concepts
- Självuppmärksamhet
- Kontextvektorer
- Vägt summa
- Transformatorarkitektur
Use Cases
- Modeller för maskinöversättning
- Generering av bildtexter
- Textsammanfattning