Grokking
term_id: grokking
Category: basic_concepts
Definition
A grokking egy ellenintuitív viselkedést ír le a mélytanulásban, amikor egy modell hosszú ideig túlilleszkedik (overfit) a tanítóadatra, gyenge általánosítást mutatva, mielőtt hirtelen eléri a jó általánosítási képességet.
Summary
Egy jelenség, ahol a neurális hálózatok hirtelen jól általánosítanak a kis adathalmazokon végzett hosszadalmas tanítás után, jóval a memorizálás pontja után.
Key Concepts
- Késleltetett általánosítás
- Túlilleszkedés (Overfitting)
- Kis adathalmazok
- Optimalizációs dinamika
Use Cases
- Modell általánosítási határainak kutatása
- Tanítási dinamika elemzése
- Memorizálás és tanulás megértése