Trasformatore

term_id: transformer

Category: basic_concepts

Definition

Introdotta nell’articolo ‘Attention Is All You Need’, l’architettura Trasformatore ha rivoluzionato l’elaborazione del linguaggio naturale e non solo. Utilizza l’auto-attenzione multi-testa per ponderare l’importanza dei

Summary

Un’architettura di deep learning basata su meccanismi di auto-attenzione che elabora dati sequenziali in parallelo anziché in sequenza.

Key Concepts

  • Auto-attenzione
  • Attenzione multi-testa
  • Codifica posizionale
  • Struttura encoder-decoder

Use Cases

  • Traduzione automatica
  • Generazione di testo
  • Riconoscimento di immagini (ViT)

Code Example

1
2

import torch.nn as nn
attention_layer = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related