Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral er en banebrydende LLM med åbne vægte, der udnytter en Sparse Mixture of Experts (MoE)-arkitektur. I modsætning til tætte modeller, hvor alle parametre bruges til hvert token, dirigerer Mixtral hvert token gennem
Summary
En stor sprogmodel baseret på Sparse Mixture of Experts (MoE) fra Mistral AI, der kun aktiverer en delmængde af parametre pr. token.
Key Concepts
- Sparse MoE
- Ekspertsystemer
- Ruting
- Effektivitet
Use Cases
- Inferens med høj throughput
- Komplekse ræsonnementsopgaver
- Produktionsudrulinger med fokus på omkostninger