Расходимость
term_id: divergence
Category: basic_concepts
Definition
В контексте оптимизации расходимость возникает, когда параметры модели обновляются таким образом, что функция потерь увеличивается вместо уменьшения, что часто приводит к появлению значений NaN (Not a Number) или бесконечных градиентов.
Summary
Расходимость означает отказ функции потерь алгоритма машинного обучения уменьшаться в процессе обучения, что приводит к нестабильности или ухудшению производительности.
Key Concepts
- Взрыв функции потерь (Loss Explosion)
- Чувствительность к скорости обучения
- Неустойчивость градиентов
- Точность вычислений
Use Cases
- Отладка циклов обучения в фреймворках глубокого обучения
- Настройка гиперпараметров для стабильной сходимости
- Реализация стратегий ограничения градиентов (gradient clipping)