Grokking
term_id: grokking
Category: basic_concepts
Definition
Grokking refererer til et motintuitivt fenomen observert i dyp læring, der en modell fortsetter å overtilpasse seg (overfit) på treningsdataene i lang tid og viser dårlig generalisering, før den plutselig oppnår nær perfekt generalisering på testdataene selv om treningsfeilen ikke har endret seg mye.
Summary
Et fenomen der nevrale nettverk plutselig generaliserer godt etter langvarig trening på små datasett, langt utover punktet for utvendig læring (memorisering).
Key Concepts
- Forsinket generalisering
- Overtrening (Overfitting)
- Små datasett
- Optimeringsdynamikk
Use Cases
- Forskning på grenser for modellgeneralisering
- Analyse av treningsdynamikk
- Forståelse av forskjellen mellom memorisering og læring