発散
term_id: divergence
Category: basic_concepts
Definition
最適化の文脈において、発散はモデルのパラメータ更新によって損失が増加し続ける状態を指します。通常、これはNaN値の発生や勾配の無限大発散を引き起こし、学習が失敗する原因となります。学習率が高すぎたり、数値的不安定さが生じたりした場合に頻繁に観察されます。
Summary
発散とは、機械学習アルゴリズムの損失関数が学習中に減少せず、不安定または悪化するパフォーマンスにつながる現象を指します。
Key Concepts
- 損失爆発
- 学習率の敏感性
- 勾配の不安定性
- 数値精度
Use Cases
- ディープラーニングフレームワークでの学習ループのデバッグ
- 安定した収束のためのハイパーパラメータ調整
- 勾配クリッピング戦略の実装