Uppmärksamhet
term_id: attention
Category: training_techniques
Definition
Uppmärksamhetsmekanismer gör att modeller kan fokusera på relevant information vid bearbetning av inspel, särskilt i sekventiell data som text. Genom att beräkna uppmärksamhetspoäng bestämmer modellen vilka element…
Summary
En mekanism som gör att neurala nätverk dynamiskt kan väga vikten av olika delar av insökvensen.
Key Concepts
- Självuppmärksamhet
- Kontextuell viktning
- Långdistansberoenden
- Transformatorarkitektur
Use Cases
- Maskinöversättning mellan språk
- Sammanfattning av långa dokument
- Bildtextning och visuella frågeställningar