Mixtral

Definition

Mixtral是一款开创性的开源权重LLM，利用稀疏混合专家（MoE）架构。与每个令牌都使用所有参数的密集模型不同，Mixtral将每个令牌路由通

Summary

由Mistral AI开发的稀疏混合专家（MoE）大型语言模型，每个令牌仅激活部分参数。

Key Concepts

• 稀疏MoE
• 专家
• 路由
• 效率

Use Cases

• 高吞吐量推理
• 复杂推理任务
• 对成本敏感的生产部署

Related Terms

• Mistral (Mistral模型)
• Mixture of Experts (混合专家模型)
• LLaMA (大型语言模型架构)
• Sparsity (稀疏性)