Attention Mechanisme
term_id: attention_mechanism
Category: basic_concepts
Definition
Een attention mechanisme stelt een model in staat om de belangrijkheid van verschillende elementen binnen een invoersekwentie dynamisch te wegen. In plaats van alle invoergegevens gelijk te behandelen, worden er verschillende niveaus van betekenis toegekend.
Summary
Een techniek waarmee neurale netwerken zich kunnen focussen op specifieke delen van invoergegevens bij het genereren van uitvoer.
Key Concepts
- Zelf-Attention
- Contextvectoren
- Gewogen Som
- Transformerarchitectuur
Use Cases
- Modellen voor machinevertaling
- Generatie van bijschriften bij afbeeldingen
- Samenvatting van tekst