Mechanizm uwagi
term_id: attention
Category: training_techniques
Definition
Mechanizmy uwagi umożliwiają modelom skupianie się na istotnych informacjach podczas przetwarzania danych wejściowych, szczególnie w danych sekwencyjnych, takich jak tekst. Obliczając wyniki uwagi, model określa, które elementy…
Summary
Mechanizm pozwalający sieciom neuronowym dynamicznie ważyć znaczenie różnych części sekwencji wejściowej.
Key Concepts
- Uwaga własna
- Waży kontekstowe
- Zależności długiego zasięgu
- Architektura transformatora
Use Cases
- Tłumaczenie maszynowe między językami
- Podsumowywanie długich dokumentów
- Opisywanie obrazów i odpowiadanie na pytania wizualne