Attention (Opmærksomhed)
term_id: attention
Category: training_techniques
Definition
Attention-mekanismer gør det muligt for modeller at fokusere på relevant information, når de behandler inputs, især i sekventielle data som tekst. Ved at beregne attention-scores bestemmer modellen, hvilke eleme…
Summary
En mekanisme, der gør det muligt for neurale netværk dynamisk at vægte betydningen af forskellige dele af inputsekvensen.
Key Concepts
- Self-Attention (Selvopmærksomhed)
- Kontekstuel vægtning
- Langdistanceafhængigheder
- Transformer-arkitektur
Use Cases
- Maskinoversættelse mellem sprog
- Sammenfatning af lange dokumenter
- Billedtekstning og visuelle spørgsmål-svar-opgaver