Внимание
term_id: attention
Category: training_techniques
Definition
Механизмы внимания позволяют моделям фокусироваться на релевантной информации при обработке входных данных, особенно в последовательных данных, таких как текст. Вычисляя баллы внимания, модель определяет, какие элементы
Summary
Механизм, позволяющий нейронным сетям динамически взвешивать важность различных частей входной последовательности.
Key Concepts
- Самовнимание
- Контекстное взвешивание
- Дальнодействующие зависимости
- Архитектура трансформера
Use Cases
- Машинный перевод между языками
- Суммаризация длинных документов
- Генерация подписей к изображениям и ответы на визуальные вопросы