Mechanismus pozornosti
term_id: attention_mechanism
Category: basic_concepts
Definition
Mechanismus pozornosti umožňuje modelu dynamicky vážit význam různých prvků ve vstupní sekci. Místo toho, aby zacházel se všemi vstupními daty stejně, přiřazuje jim různé úrovně významnosti,
Summary
Technika umožňující neuronovým sítím zaměřit se na specifické části vstupních dat při generování výstupů.
Key Concepts
- Sebe-pozornost (Self-Attention)
- Kontextové vektory
- Vážený součet
- Architektura Transformer
Use Cases
- Modely strojového překladu
- Generování popisků obrázků
- Shrnování textu