Grokking
term_id: grokking
Category: basic_concepts
Definition
Grokking merujuk pada perilaku kontra-intuitif yang diamati dalam pembelajaran mendalam, di mana model terus mengalami overfitting pada data pelatihan untuk waktu yang lama, menunjukkan generalisasi yang buruk, sebelum tiba-tiba mencapai kemampuan generalisasi yang sangat baik. Fenomena ini menyoroti dinamika optimasi yang kompleks di mana pembelajaran semantik terjadi setelah fase menghafal data.
Summary
Fenomena di mana jaringan saraf tiba-tiba mampu melakukan generalisasi dengan baik setelah pelatihan berkepanjangan pada dataset kecil, jauh melampaui titik menghafal.
Key Concepts
- Generalisasi Tertunda
- Overfitting
- Dataset Kecil
- Dinamika Optimasi
Use Cases
- Meneliti batas generalisasi model
- Menganalisis dinamika pelatihan
- Memahami perbedaan antara menghafal dan pembelajaran