خليط الخبراء
term_id: moe
Category: basic_concepts
Definition
يُعد خليط الخبراء (MoE) بنية تعلم آلي مصممة لتحسين الكفاءة والقابلية للتوسع. بدلاً من استخدام نموذج كبير واحد لجميع المهام، يستخدم MoE عدة نماذج أصغر تُعرف بـ
Summary
نمط معماري يجمع فيه عدة شبكات عصبية متخصصة (خبراء) عبر آلية توجيه لمعالجة المدخلات.
Key Concepts
- التنشيط المتناثر
- شبكة التوجيه
- تخصص الخبراء
- القابلية للتوسع
Use Cases
- تدريب نماذج اللغة الكبيرة بكفاءة
- تقليل زمن الاستدلال للنماذج الضخمة
- معالجة أنواع المدخلات المتنوعة في الأنظمة متعددة الوسائط