التدريب الموزع
term_id: distributed_training
Category: training_techniques
Definition
يسرع التدريب الموزع تقارب النموذج من خلال موازاة العمليات الحسابية عبر وحدات معالجة الرسومات (GPUs) أو العقد المتعددة. تشمل التقنيات المستخدمة التوازي في البيانات، حيث يعالج كل عامل مجموعة فرعية من البيانات، والتوازي في النموذج، حيث يتم تقسيم بنية النموذج نفسه عبر الأجهزة.
Summary
طريقة لتدريب نماذج التعلم الآلي عن طريق تقسيم البيانات أو الحسابات عبر أجهزة أو خوادم متعددة.
Key Concepts
- توازي البيانات
- توازي النموذج
- عناقيد وحدات معالجة الرسومات
- مزامنة التدرجات
Use Cases
- تدريب نماذج اللغات الكبيرة
- تسريع معالجة مجموعات بيانات رؤية الحاسوب
- تقليل وقت التدريب للشبكات العصبية المعقدة