Önfigyelem (Self-Attention)

term_id: self_attention

Category: basic_concepts

Definition

Az önfigyelem lehetővé teszi a modellek számára, hogy minden pozíció közötti függőségeket egyszerre rögzítsék, függetlenül a távolságtól. A tokenek közötti figyelmet számítva lehetővé teszi…

Summary

Egy mechanizmus, amely lehetővé teszi egy neurális hálózat számára, hogy súlyozza a bemeneti szekvencia különböző részeinek fontosságát egymáshoz képest.

Key Concepts

  • Kérdés-Kulcs-Érték (Query-Key-Value)
  • Figyelem pontszámok (Attention Scores)
  • Kontextuális súlyozás
  • Párhuzamos feldolgozás

Use Cases

  • Gépi fordítás
  • Szövegösszefoglalás
  • Képosztályozás Vision Transformereken keresztül

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related