تراكم التدرجات
term_id: gradient_accumulation
Category: training_techniques
Definition
تسمح هذه الاستراتيجية التحسينية بتدريب نماذج التعلم العميق بأحجام دفعات فعالة أكبر مما تتسع له ذاكرة وحدة معالجة الرسومات (GPU). من خلال تراكم التدرجات من عدة مجموعات صغيرة (mini-batches) وإجراء التحديث بعد ذلك.
Summary
تراكم التدرجات هو تقنية تحاكي أحجام دفعات (batch sizes) أكبر عن طريق جمع التدرجات عبر عدة عمليات تمرير أمامي وعكسي قبل تحديث الأوزان.
Key Concepts
- محاكاة حجم الدفعة
- تحسين الذاكرة
- نزول التدرج العشوائي
- تحديث الأوزان
Use Cases
- ضبط النماذج الكبيرة دقة (Fine-tuning)
- التدريب على ذاكرة فيديو محدودة
- استقرار تقارب دالة الخسارة