Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral es un LLM pionero de peso abierto que utiliza una arquitectura de Mezcla Esparsa de Expertos (MoE). A diferencia de los modelos densos donde todos los parámetros se usan para cada token, Mixtral enruta cada token a través
Summary
Un modelo de lenguaje grande (LLM) de Mezcla Esparsa de Expertos (MoE) de Mistral AI que activa solo un subconjunto de parámetros por token.
Key Concepts
- MoE esparsa
- Expertos
- Enrutamiento
- Eficiencia
Use Cases
- Inferencia de alto rendimiento
- Tareas de razonamiento complejo
- Despliegues de producción sensibles al costo