Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral este un LLM pionier cu greutăți deschise care utilizează o arhitectură Sparse Mixture of Experts (MoE). Spre deosebire de modelele dense, unde toți parametrii sunt utilizați pentru fiecare token, Mixtral direcționează fiecare token prin
Summary
Un model lingvistic mare (LLM) Sparse Mixture of Experts (MoE) de la Mistral AI care activează doar un subansamblu de parametri per token.
Key Concepts
- MoE rar
- Experți
- Dirijare
- Eficiență
Use Cases
- Inferență cu randament ridicat
- Sarcini complexe de raționament
- Implementări de producție sensibile la costuri