ダブルデセント（二重下降）
term_id: double_descent
Category: basic_concepts
Definition
ダブルデセントは、トレーニングデータを完全に補間しているにもかかわらず、高度に過剰パラメータ化されたモデルが低いテスト誤差を実現できることを示すことで、従来のバイアス・バリアンストレードオフに挑戦します。初期段階では誤差が増加しますが、モデルが複雑になりすぎると誤差が再び低下するという二つの下降局面が見られます。
Summary
モデルの複雑さが補間閾値を超えて増加するにつれて、テスト誤差が減少し、増加し、その後再び減少する現象。
Key Concepts
- 補間閾値
- 過剰パラメータ化
- バイアス・バリアンストレードオフ
- テスト誤差
Use Cases
- ニューラルネットワークのスケーリング則の分析
- ディープラーニングにおける汎化の理解
- 大規模AIシステムにおけるモデル選択