Grokking
term_id: grokking
Category: basic_concepts
Definition
Grokking syftar på ett motintuitivt beteende som observeras inom djupinlärning, där en modell fortsätter att överanpassa (overfit) träningsdata under en lång tid och visar dålig generalisering, innan den plötsligt uppnår god generaliseringsförmåga.
Summary
Ett fenomen där neuronnät plötsligt generaliserar väl efter långvarig träning på små datamängder, långt bortom punkten för minnesinlärning.
Key Concepts
- Fördröjd generalisering
- Överanpassning
- Små datamängder
- Optimeringsdynamik
Use Cases
- Forskning om modellers generaliseringsgränser
- Analys av träningsdynamik
- Att förstå skillnaden mellan minnesinlärning och lärande