Двойной спуск
term_id: double_descent
Category: basic_concepts
Definition
Двойной спуск бросает вызов традиционному компромиссу между смещением и дисперсией, показывая, что сильно переопределенные модели могут достигать низкой ошибки на тесте, даже интерполируя обучающие данные. Изначально ошибка растет по мере увеличения сложности, но затем снова падает.
Summary
Явление, при котором ошибка на тестовой выборке сначала уменьшается, затем увеличивается, а снова уменьшается по мере роста сложности модели после порога интерполяции.
Key Concepts
- Порог интерполяции
- Переопределенность (Overparameterization)
- Компромисс смещения и дисперсии
- Ошибка на тестовой выборке
Use Cases
- Анализ законов масштабирования нейронных сетей
- Понимание обобщающей способности в глубоком обучении
- Выбор модели в крупномасштабных системах искусственного интеллекта