Grokking
term_id: grokking
Category: basic_concepts
Definition
Grokking odnosi się do kontrintuicyjnego zachowania obserwowanego w uczeniu głębokim, gdzie model nadal nadmiernie dopasowuje się (overfitting) do danych treningowych przez długi czas, wykazując słabe uogólnianie, zanim nagle osiągnie nowe…
Summary
Zjawisko, w którym sieci neuronowe nagle zaczynają dobrze uogólniać po długotrwałym szkoleniu na małych zbiorach danych, daleko poza punktem zapamiętywania.
Key Concepts
- Opóźnione uogólnianie
- Nadmierne dopasowanie (overfitting)
- Małe zbiory danych
- Dynamika optymalizacji
Use Cases
- Badanie granic uogólniania modeli
- Analiza dynamiki szkolenia
- Zrozumienie różnicy między zapamiętywaniem a nauką