Auto-attention

term_id: self_attention

Category: basic_concepts

Definition

L’auto-attention permet aux modèles de capturer les dépendances entre toutes les positions d’une séquence simultanément, quelle que soit la distance. En calculant les scores d’attention entre chaque paire de jetons, elle permet une prise en compte globale du contexte.

Summary

Un mécanisme permettant à un réseau de neurones de pondérer l’importance des différentes parties de la séquence d’entrée par rapport aux autres.

Key Concepts

  • Requête-Clé-Valeur
  • Scores d’attention
  • Pondération contextuelle
  • Traitement parallèle

Use Cases

  • Traduction automatique
  • Résumé de texte
  • Classification d’images via les Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related