Grokking
term_id: grokking
Category: basic_concepts
Definition
מונח ‘Grokking’ מתאר התנהגות לא אינטואיטיבית הנצפית בלמידה עמוקה, שבה מודל ממשיך להתאים יתר על המידה (overfit) לנתוני האימון לאורך זמן רב, תוך הצגת יכולת הכללה ירודה. עם זאת, לאחר תקופה ארוכה זו, המודל עשוי להגיע פתאום ליכולת הכללה טובה מאוד, גם אם נתוני האימון נשארים זהים. תופעה זו מדגישה את ההבדל בין זיכרון פשוט לבין למידה אמיתית של דפוסים.
Summary
תופעה שבה רשתות עצביות מתחילות כלליות היטב פתאום לאחר אימון ממושך על מערכי נתונים קטנים, הרבה מעבר לנקודה שבה הן זוכרות את הנתונים.
Key Concepts
- כלילה מעוכבת
- התאמה יתר
- מערכי נתונים קטנים
- דינמיקת אופטימיזציה
Use Cases
- מחקר על גבולות הכללת המודלים
- ניתוח דינמיקת האימון
- הבנת ההבדל בין זיכרון ללמידה