Механизм внимания
term_id: attention_mechanism
Category: basic_concepts
Definition
Механизм внимания позволяет модели динамически оценивать важность различных элементов во входной последовательности. Вместо того чтобы рассматривать все входные данные одинаково, он присваивает им разный уровень значимости
Summary
Техника, позволяющая нейронным сетям фокусироваться на определенных частях входных данных при генерации выходных результатов.
Key Concepts
- Самовнимание
- Контекстные векторы
- Взвешенная сумма
- Архитектура Трансформер
Use Cases
- Модели машинного перевода
- Генерация подписей к изображениям
- Суммаризация текста