Регуляризация
term_id: regularization
Category: basic_concepts
Definition
Регуляризация — это ключевое понятие в машинном обучении, предназначенное для снижения ошибки обобщения без значительного увеличения ошибки обучения. Она работает за счет того, что препятствует модели запоминать шум или чрезмерно сложные паттерны в данных.
Summary
Набор методов, используемых в процессе обучения для предотвращения переобучения путем добавления штрафов к функции потерь или ограничения сложности модели.
Key Concepts
- Переобучение
- Компромисс смещения и дисперсии
- Штрафы L1/L2
- Dropout (Отключение нейронов)
Use Cases
- Обучение глубоких нейронных сетей
- Модели линейной регрессии
- Предотвращение запоминания на малых наборах данных
Code Example
| |