Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral est un LLM pionnier à poids ouverts qui utilise une architecture de Mélange d’Experts Clairsemé (Sparse MoE). Contrairement aux modèles denses où tous les paramètres sont utilisés pour chaque jeton, Mixtral dirige chaque jeton à travers
Summary
Un grand modèle de langage (LLM) à mélange d’experts clairsemé (MoE) de Mistral AI qui n’active qu’un sous-ensemble de paramètres par jeton.
Key Concepts
- MoE clairsemé
- Experts
- Routage
- Efficacité
Use Cases
- Inférence à haut débit
- Tâches de raisonnement complexes
- Déploiements de production sensibles aux coûts