正則化
term_id: regularization
Category: basic_concepts
Definition
正則化は、機械学習において一般化誤差を大幅に増加させることなく減少させるための重要な概念です。これは、モデルが過度に複雑なパターンやノイズを学習することを抑制することで機能します。
Summary
損失関数にペナルティを追加したりモデルの複雑さを制限したりすることで、過学習を防ぐためのトレーニング手法のセット。
Key Concepts
- 過学習
- バイアス・バリアンストレードオフ
- L1/L2ペナルティ
- ドロップアウト
Use Cases
- ディープニューラルネットワークのトレーニング
- 線形回帰モデル
- 小規模データセットでの暗記（オーバーフィッティング）の防止
Code Example
| |