Mechanizm uwagi własnej (Self-Attention)

term_id: self_attention

Category: basic_concepts

Definition

Mechanizm uwagi własnej umożliwia modelom wychwytywanie zależności między wszystkimi pozycjami w sekwencji jednocześnie, niezależnie od odległości między nimi. Obliczając wyniki uwagi dla każdej pary tokenów, pozwala to na budowanie bogatszego kontekstu reprezentacji.

Summary

Mechanizm pozwalający sieci neuronowej na ważenie znaczenia różnych części sekwencji wejściowej względem siebie nawzajem.

Key Concepts

  • Zapytanie-Klucz-Wartość (Query-Key-Value)
  • Wyniki uwagi (Attention Scores)
  • Ważenie kontekstowe
  • Przetwarzanie równoległe

Use Cases

  • Tłumaczenie maszynowe
  • Podsumowywanie tekstu
  • Klasyfikacja obrazów przy użyciu Transformerów wizyjnych (Vision Transformers)

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related