Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral — это пионерская большая языковая модель с открытыми весами, использующая архитектуру разреженной смеси экспертов (Sparse Mixture of Experts, MoE). В отличие от плотных моделей, где все параметры используются для каждого токена, Mixtral маршрутизирует каждый токен через…
Summary
Большая языковая модель на основе разреженной смеси экспертов (Sparse MoE) от Mistral AI, активирующая только подмножество параметров для каждого токена.
Key Concepts
- Разреженная смесь экспертов (Sparse MoE)
- Эксперты (Experts)
- Маршрутизация (Routing)
- Эффективность (Efficiency)
Use Cases
- Вывод с высокой пропускной способностью
- Задачи сложного логического вывода
- Производственные развертывания с учетом стоимости