Aufmerksamkeitsmechanismus
term_id: attention_mechanism
Category: basic_concepts
Definition
Ein Aufmerksamkeitsmechanismus ermöglicht es einem Modell, die Bedeutung verschiedener Elemente innerhalb einer Eingabesequenz dynamisch zu gewichten. Anstatt alle Eingabedaten gleich zu behandeln, weist es unterschiedliche Ebenen der Bedeu
Summary
Eine Technik, die es neuronalen Netzen ermöglicht, sich bei der Ausgabe auf bestimmte Teile der Eingabedaten zu konzentrieren.
Key Concepts
- Selbst-Aufmerksamkeit
- Kontextvektoren
- Gewichtete Summe
- Transformer-Architektur
Use Cases
- Modelle für maschinelle Übersetzung
- Generierung von Bildunterschriften
- Zusammenfassung von Texten