Grokking
term_id: grokking
Category: basic_concepts
Definition
Grokking refererer til en modintuitiv adfærd observeret i dyb læring, hvor en model fortsætter med at overtilpasse sig træningsdataene i lang tid og viser dårlig generalisering, før den pludselig opnår næsten perfekt generalisering på testdata. Dette sker typisk efter hundredtusindvis af epoker, selvom modellen allerede har memoriseret træningsdataene fuldstændigt.
Summary
Et fænomen, hvor neurale netværk pludselig generaliserer godt efter langvarig træning på små datasæt, langt ud over punktet for hukommelse.
Key Concepts
- Forsinket generalisering
- Overtilpasning
- Små datasæt
- Optimeringsdynamik
Use Cases
- Forskning i modellers generaliseringsgrænser
- Analyse af træningsdynamik
- Forståelse af forskellen mellem hukommelse og læring