Ограничение (клиппинг)
term_id: clip
Category: engineering_practice
Definition
В инженерии глубокого обучения ограничение часто применяется к градиентам для смягчения проблемы взрывающихся градиентов, обеспечивая стабильность обратного распространения ошибки. Оно также может означать ограничение логитов выхода перед применением функции активации.
Summary
Ограничение (клиппинг) — это техника, используемая для ограничения величины значений, таких как градиенты или вероятности выхода, для предотвращения численной нестабильности во время обучения.
Key Concepts
- Ограничение градиентов
- Численная стабильность
- Взрывающиеся градиенты
- Регуляризация
Use Cases
- Обучение рекуррентных нейронных сетей
- Стабилизация обучения трансформеров
- Предотвращение расхождения функции потерь