אימון מבוזר
term_id: distributed_training
Category: training_techniques
Definition
אימון מבוזר מאיץ התכנסות של מודלים על ידי מקבילת חישובים על גבי מספר כרטיסי GPU או צמתים. הטכניקות כוללות מקביליות נתונים, שבהן כל עובד מעבד תת-קבוצה של נתונים, ומקביליות מודל
Summary
שיטה לאימון מודלי למידת מכונה על ידי חלוקת נתונים או חישובים בין מכשירים או שרתים מרובים.
Key Concepts
- מקביליות נתונים
- מקביליות מודל
- אשכולות GPU
- סנכרון גרדיאנטים
Use Cases
- אימון מודלי שפה גדולים
- האצת עיבוד ערכות נתונים לראייה ממוחשבת
- הפחתת זמן האימון לרשתות נוירונים מורכבות