ميكسترال (Mixtral)
term_id: mixtral
Category: basic_concepts
Definition
Mixtral هو نموذج لغة كبير رائد ذو أوزان مفتوحة يستخدم بنية مزيج الخبراء المتناثر (Sparse MoE). على عكس النماذج الكثيفة حيث تُستخدم جميع المعلمات لكل رمز، يقوم Mixtral بتوجيه كل رمز عبر
Summary
نموذج لغة كبير يعتمد على مزيج الخبراء المتناثر (MoE) من تطوير Mistral AI، حيث يتم تفعيل مجموعة فرعية فقط من المعلمات لكل رمز.
Key Concepts
- MoE المتناثر
- الخبراء
- التوجيه
- الكفاءة
Use Cases
- الاستدلال عالي الإنتاجية
- مهام الاستدلال المعقدة
- نشر الإنتاج الحساس للتكلفة