Mechanizm uwagi
term_id: attention_mechanism
Category: basic_concepts
Definition
Mechanizm uwagi umożliwia modelowi dynamiczne przypisywanie wagi różnym elementom w sekwencji wejściowej. Zamiast traktować wszystkie dane wejściowe równo, przypisuje im różne poziomy znaczenia
Summary
Technika pozwalająca sieciom neuronowym skupiać się na określonych częściach danych wejściowych podczas generowania wyników.
Key Concepts
- Wewnętrzna uwaga (Self-Attention)
- Wektory kontekstowe
- Suma ważona
- Architektura Transformer
Use Cases
- Modele tłumaczenia maszynowego
- Generowanie podpisów do obrazów
- Podsumowywanie tekstu