Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral är en banbrytande stor språkmodell (LLM) med öppna vikter som använder en arkitektur för Sparse Mixture of Experts (MoE). Till skillnad från täta modeller där alla parametrar används för varje token, routar Mixtral varje token genom…
Summary
En stor språkmodell med Sparse Mixture of Experts (MoE) av Mistral AI som aktiverar endast en delmängd av parametrar per token.
Key Concepts
- Sparse MoE
- Experts (experter)
- Routning
- Effektivitet
Use Cases
- Inferens med hög genomströmning
- Uppgifter med komplex resonemang
- Produktionsdistributioner känsliga för kostnader