Grokking
term_id: grokking
Category: basic_concepts
Definition
Le grokking désigne un comportement contre-intuitif observé en apprentissage profond : un modèle continue de surapprendre (overfitting) sur les données d’entraînement pendant une longue période, montrant une mauvaise généralisation, avant de voir ses performances de test s’améliorer brusquement vers une généralisation parfaite, même si la perte d’entraînement reste élevée.
Summary
Un phénomène où les réseaux neuronaux généralisent soudainement bien après un entraînement prolongé sur de petits ensembles de données, bien au-delà du point de mémorisation.
Key Concepts
- Généralisation retardée
- Surapprentissage
- Petits ensembles de données
- Dynamique d’optimisation
Use Cases
- Recherche sur les limites de généralisation des modèles
- Analyse de la dynamique d’entraînement
- Comprendre la différence entre mémorisation et apprentissage