Pozornost
term_id: attention
Category: training_techniques
Definition
Mechanismy pozornosti umožňují modelům soustředit se na relevantní informace při zpracování vstupů, zejména u sekvenčních dat, jako je text. Výpočtem skóre pozornosti model určí, které elementy…
Summary
Mechanismus, který umožňuje neuronovým sítím dynamicky vážit důležitost různých částí vstupní sekvence.
Key Concepts
- Sebe-pozornost
- Kontextové vážení
- Dlouhodobé závislosti
- Architektura transformátoru
Use Cases
- Strojový překlad mezi jazyky
- Shrnutí dlouhých dokumentů
- Popisování obrázků a vizuální zodpovídání otázek