Atenție Auto

term_id: self_attention

Category: basic_concepts

Definition

Atenția auto permite modelelor să capteze dependențele dintre toate pozițiile dintr-o secvență simultan, indiferent de distanță. Prin calcularea scorurilor de atenție între fiecare pereche de tokenuri, aceasta permite…

Summary

Un mecanism care permite unei rețele neuronale să evalueze importanța diferitelor părți ale secvenței de intrare în raport cu celelalte.

Key Concepts

  • Interogare-Chiuvetă-Valoare (Query-Key-Value)
  • Scoruri de Atenție
  • Agregare Contextuală
  • Procesare Parallelă

Use Cases

  • Traducere automată
  • Sinteză text
  • Clasificare de imagini prin Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related