גודל אצווה
term_id: batch_size
Category: training_techniques
Definition
גודל האצווה הוא היפר-פרמטר קריטי הקובע כמה דגימות מעובדות לפני עדכון הפרמטרים הפנימיים של המודל. גודל אצווה גדול יותר מספק הערכה מדויקת יותר של ה-
Summary
מספר דוגמאות האימון המנוצלות באיטרציה אחת של אלגוריתם ירידת המדרג הסטוכסטית.
Key Concepts
- הערכת מדרג (Gradient)
- אילוצי זיכרון
- יציבות התכנסות
- כוונון היפר-פרמטרים
Use Cases
- כוונון מהירות ההתכנסות של המודל
- ניהול מגבלות זיכרון GPU במהלך האימון
- שיפור הכללה באמצעות מדרגים רועשים