構造的リスク最小化

Definition

構造的リスク最小化（SRM）は、過学習を防ぐためにモデルの複雑さを制御することで期待リスクを最小化する手法です。これは経験的リスク最小化を拡張したもので、正則化項を追加し、モデルの表現力と一般化性能の間にトレードオフを持たせることを目的としています。

Summary

モデルの適合度と複雑さのバランスを取ることで、汎化誤差の上界を最小化することを目指す統計的学習の原理。

Key Concepts

• VC次元
• 正則化
• 汎化誤差
• モデル複雑性ペナルティ

Use Cases

• サポートベクターマシン（SVM）のトレーニング
• 回帰における多項式次数の選択
• 過学習を避けるための決定木の剪定

Related Terms

• 経験的リスク最小化 (Empirical risk minimization)
• オッカムの剃刀 (Occam’s razor)
• 正則化 (Regularization)
• バイアス・分散トレードオフ (Bias-variance tradeoff)