グロッキング
term_id: grokking
Category: basic_concepts
Definition
グロッキングは、ディープラーニングにおいて観察される直感に反する挙動を指します。モデルはトレーニングデータに対して長期間にわたり過学習（オーバーフィッティング）し続け、汎化性能が低い状態が続きます。しかし、ある特定の時点を超えると、突然、テストデータに対しても驚くほど高い精度で予測を行うようになり、真の意味での「学習」が達成されたかのような振る舞いを示します。この現象は、モデルが単なる暗記から抽象的なパターン認識へと移行する過程を理解する上で重要です。
Summary
ニューラルネットワークが、小規模なデータセットに対して長期にわたるトレーニングを行った後、暗記を超えた段階で突然、良好な汎化性能を示す現象。
Key Concepts
- 遅延汎化
- 過学習
- 小規模データセット
- 最適化ダイナミクス
Use Cases
- モデルの汎化限界の研究
- トレーニングダイナミクスの分析
- 暗記と学習の違いの理解