Grokking
term_id: grokking
Category: basic_concepts
Definition
Grokking verwijst naar een contra-intuïtief gedrag dat wordt waargenomen in deep learning, waarbij een model lange tijd blijft overfiten op trainingsgegevens en slecht generaliseert, voordat het plotseling een sterke algemene nauwkeurigheid bereikt. Dit proces gebeurt vaak pas na veel meer iteraties dan nodig zou zijn voor het simpelweg onthouden van de trainingsdata, wat suggereert dat het model uiteindelijk de onderliggende regels heeft ‘begrepen’ in plaats van alleen patronen te memoriseren.
Summary
Een fenomeen waarbij neurale netwerken plotseling goed generaliseren na langdurig trainen op kleine datasets, ver voorbij het punt van memorisatie.
Key Concepts
- Vertraagde Generalisatie
- Overfitting
- Kleine datasets
- Optimalisatiedynamiek
Use Cases
- Onderzoek naar de grenzen van modelgeneralisatie
- Analyse van trainingsdynamiek
- Begrip van het verschil tussen memorisatie en leren