Selbstaufmerksamkeit

term_id: self_attention

Category: basic_concepts

Definition

Selbstaufmerksamkeit ermöglicht es Modellen, Abhängigkeiten zwischen allen Positionen in einer Sequenz gleichzeitig zu erfassen, unabhängig von deren Entfernung. Durch die Berechnung von Aufmerksamkeitswerten zwischen jedem Token-Paar wird dies ermöglicht.

Summary

Ein Mechanismus, der es einem neuronalen Netzwerk ermöglicht, die Bedeutung verschiedener Teile der Eingabesequenz im Verhältnis zueinander zu gewichten.

Key Concepts

  • Query-Key-Value
  • Aufmerksamkeitswerte
  • Kontextuelle Gewichtung
  • Parallele Verarbeitung

Use Cases

  • Maschinelle Übersetzung
  • Zusammenfassung von Texten
  • Bildklassifizierung mittels Vision Transformers

Code Example

1
2

import torch.nn as nn
attn = nn.MultiheadAttention(embed_dim=512, num_heads=8)

Related