Attention
term_id: attention
Category: training_techniques
Definition
Les mécanismes d’attention permettent aux modèles de se concentrer sur les informations pertinentes lors du traitement des entrées, en particulier dans les données séquentielles comme le texte. En calculant des scores d’attention, le modèle détermine quels éléments…
Summary
Un mécanisme permettant aux réseaux neuronaux de pondérer dynamiquement l’importance des différentes parties de la séquence d’entrée.
Key Concepts
- Auto-attention
- Pondération contextuelle
- Dépendances à longue portée
- Architecture de transformeur
Use Cases
- Traduction automatique entre langues
- Résumé de longs documents
- Légendage d’images et réponse visuelle aux questions