Grokking
term_id: grokking
Category: basic_concepts
Definition
Grokking se referă la un comportament contra-intuitiv observat în învățarea profundă, unde un model continuă să se supraadapteze (overfit) la datele de antrenament pentru o perioadă lungă, arătând o generalizare slabă, înainte de a realiza brusc o…
Summary
Un fenomen în care rețelele neuronale generalizează brusc bine după un antrenament prelungit pe seturi de date mici, mult dincolo de punctul de memorizare.
Key Concepts
- Generalizare întârziată
- Supraadaptare
- Seturi de date mici
- Dinamica optimizării
Use Cases
- Cercetarea limitelor de generalizare a modelelor
- Analiza dinamicii antrenamentului
- Înțelegerea diferenței dintre memorare și învățare