Auto-attenzione

term_id: self_attention

Category: basic_concepts

Definition

L’auto-attenzione consente ai modelli di catturare le dipendenze tra tutte le posizioni in una sequenza simultaneamente, indipendentemente dalla distanza. Calcolando i punteggi di attenzione tra ogni coppia di token, permette…

Summary

Un meccanismo che consente a una rete neurale di valutare l’importanza delle diverse parti della sequenza di input rispetto alle altre.

Key Concepts

  • Query-Chiave-Valore
  • Punteggi di Attenzione
  • Ponderazione Contestuale
  • Elaborazione Parallela

Use Cases

  • Traduzione automatica
  • Riassunto di testi
  • Classificazione di immagini tramite Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related