Self-Attention

term_id: self_attention

Category: basic_concepts

Definition

Self-attention umožňuje modelům zachytit závislosti mezi všemi pozicemi v sekvenci současně, bez ohledu na vzdálenost. Výpočtem skóre pozornosti mezi každou dvojici tokenů umožňuje…

Summary

Mechanismus umožňující neuronové síti vážit významnost různých částí vstupní sekvence vůči sobě navzájem.

Key Concepts

  • Dotaz-Hodnota-Klíč (Query-Key-Value)
  • Skóre pozornosti
  • Kontextové vážení
  • Paralelní zpracování

Use Cases

  • Strojový překlad
  • Shrnování textu
  • Klasifikace obrázků pomocí Vision Transformerů

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related