צבירת גרדיאנטים
term_id: gradient_accumulation
Category: training_techniques
Definition
אסטרטגיית האופטימיזציה הזו מאפשרת לאימוני מודלים ללמידה עמוקה להיעשות עם גודל באץ’ אפקטיבי הגדול מהנפח הזמין בזיכרון ה-GPU. על ידי צבירת גרדיאנטים ממספר מיני-באצ’ים וביצוע עדכון משקלים משותף.
Summary
צבירת גרדיאנטים היא טכניקה המדמה גודל באץ’ (Batch) גדול יותר על ידי סיכום גרדיאנטים לאורך מספר ריצות קדימה ואחורה לפני עדכון המשקלים.
Key Concepts
- סימולציה של גודל באץ'
- אופטימיזציה של זיכרון
- ירידת נגד סטוכסטית (SGD)
- עדכון משקלים
Use Cases
- דיוק מודלים גדולים (Fine-tuning)
- אימון עם זיכרון וידאו מוגבל (VRAM)
- ייצוב התכנסות פונקציית ההפסד