Mécanisme d'Attention
term_id: attention_mechanism
Category: basic_concepts
Definition
Un mécanisme d’attention permet à un modèle de pondérer dynamiquement l’importance des différents éléments au sein d’une séquence d’entrée. Au lieu de traiter toutes les données d’entrée de manière égale, il attribue des niveaux de signification variables
Summary
Une technique permettant aux réseaux neuronaux de se concentrer sur des parties spécifiques des données d’entrée lors de la production de sorties.
Key Concepts
- Auto-Attention
- Vecteurs de Contexte
- Somme Pondérée
- Architecture Transformer
Use Cases
- Modèles de traduction automatique
- Génération de légendes d’images
- Résumé de texte