Grokking
term_id: grokking
Category: basic_concepts
Definition
Grokking označuje protichůdné chování pozorované v hlubokém učení, kdy model po dlouhou dobu přetrénovává trénovací data (overfitting) a vykazuje špatnou zobecnitelnost, než náhle dosáhne dobré schopnosti generalizace.
Summary
Fenomén, kdy se neuronové sítě náhle naučí obecně platná pravidla po dlouhém tréninku na malých datech, daleko za bodem, kdy by měly data pouze memorovat.
Key Concepts
- Oddálená generalizace
- Přetrénování (Overfitting)
- Malá datová sada
- Dynamika optimalizace
Use Cases
- Výzkum limitů zobecnitelnosti modelů
- Analýza dynamiky tréninku
- Porozumění rozdílu mezi memorováním a učením