Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral er en banebrytende LLM med åpne vekter som bruker en Sparse Mixture of Experts (MoE)-arkitektur. I motsetning til tette modeller der alle parametre brukes for hvert token, dirigerer Mixtral hvert token gjennom
Summary
En stor språkmodell basert på Sparse Mixture of Experts (MoE) av Mistral AI som kun aktiverer en delmengde av parametre per token.
Key Concepts
- Sparse MoE
- Ekspertsystemer
- Ruting
- Effektivitet
Use Cases
- Inferens med høy throughput
- Oppgaver med kompleks resonnement
- Produksjonsdistribusjoner med kostnadsfølsomhet