Grokkaaminen
term_id: grokking
Category: basic_concepts
Definition
Grokkaaminen viittaa syväoppimisessa havaittuun kontraintuitiiviseen käyttäytymiseen, jossa malli jatkaa yliopettamista (overfitting) harjoitusdatassa pitkään ajan ja näyttää heikkoa yleistykykyä, ennen kuin se äkillisesti saavuttaa erinomaisen suorituskyvyn testidataan soveltautumisessa. Tämä ilmiö havaittiin erityisesti pienillä datajoukoilla, joissa malli oppi ensin muistamaan datan ulkoa ja myöhemmin ymmärtämään sen taustalla olevat säännöt.
Summary
Ilmiö, jossa neuroverkot yleistyvät äkillisesti hyvin pitkän harjoittelun jälkeen pienillä datajoukoilla, paljon sen pisteen jälkeen, jossa malli on jo muistanut datan ulkoa.
Key Concepts
- Viivästynyt yleistykyky
- Yliopettaminen
- Pienet datajoukot
- Optimointidynamiikka
Use Cases
- Mallien yleistykykyrajojen tutkiminen
- Harjoitusdynamiikan analysointi
- Muistamisen ja oppimisen erojen ymmärtäminen