Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral הוא LLM חלוץ בעל משקלים גלויים המשתמש בארכיטקטורה של מיקס ספקים דליל (Sparse MoE). בניגוד למודלים צפופים שבהם כל הפרמטרים משמשים לכל טוקן, Mixtral מפנה כל טוקן דרך
Summary
מודל שפה גדול (LLM) מבוסס מיקס ספקים דליל (Sparse MoE) מאת Mistral AI, המפעיל רק תת-קבוצה של פרמטרים לכל טוקן.
Key Concepts
- Sparse MoE (מיקס ספקים דליל)
- ספקים (Experts)
- הפניה (Routing)
- יעילות
Use Cases
- סקירה (Inference) בתפוקה גבוהה
- משימות חשיבה מורכבות
- הטמעות ייצור רגישות לעלות