Attention (Aandacht)
term_id: attention
Category: training_techniques
Definition
Attention-mechanismen stellen modellen in staat om zich te focussen op relevante informatie bij het verwerken van invoer, vooral bij sequentiële gegevens zoals tekst. Door aandachtsscores te berekenen, bepaalt het model welke elementen…
Summary
Een mechanisme waarmee neurale netwerken dynamisch het belang van verschillende delen van de invoersekwentie kunnen wegen.
Key Concepts
- Self-Attention (Zelfaandacht)
- Contextuele weging
- Langafstandsafhankelijkheden
- Transformerarchitectuur
Use Cases
- Machinevertaling tussen talen
- Samenvatten van lange documenten
- Bijschriften genereren voor afbeeldingen en visuele vragenbeantwoording