Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral je průkopnický LLM s otevřenými váhami, který využívá architekturu řídké směsi expertů (Sparse MoE). Na rozdíl od hustých modelů, kde jsou všechny parametry použity pro každý token, Mixtral směruje každý token skrze…
Summary
Velký jazykový model od Mistral AI založený na řídké směsi expertů (MoE), který aktivuje pouze podmnožinu parametrů pro každý token.
Key Concepts
- Řídá MoE
- Expertní systémy
- Směrování
- Efektivita
Use Cases
- Inferenční zpracování s vysokou propustností
- Úlohy složitého logického uvažování
- Produkční nasazení citlivá na náklady