ערבוב מומחים
term_id: moe
Category: basic_concepts
Definition
ערבוב מומחים (MoE) היא ארכיטקטורת למידת מכונה המיועדת לשפר יעילות ונדידות. במקום להשתמש במודל גדול אחד לכל המשימות, MoE משתמש במספר מודלים קטנים יותר (‘מומחים’) שנבחרים בהתאם לקלט הספציפי.
Summary
תבנית ארכיטקטורה שבה מספר רשתות עצביות מומחות (מומחים) משולבות באמצעות מנגנון הפעלה (Gating) לעיבוד קלט.
Key Concepts
- הפעלה דלילה
- רשת הפעלה (Gating Network)
- התמחות של מומחים
- נדידות (Scalability)
Use Cases
- אימון יעיל של מודלי שפה גדולים
- הפחתת זמן השהייה (Latency) בחישוב עבור מודלים ענקיים
- טיפול בסוגי קלט מגוונים במערכות רב-מודאליות