Смесь экспертов (Mixture of Experts)
term_id: moe
Category: basic_concepts
Definition
Архитектура «Смесь экспертов» (MoE) разработана для повышения эффективности и масштабируемости. Вместо использования одной большой модели для всех задач, MoE применяет множество меньших «экспертных» сетей, активируя только те из них, которые наиболее релевантны для конкретного входа.
Summary
Архитектурный паттерн, в котором несколько специализированных нейронных сетей (экспертов) объединяются с помощью механизма шлюза (gating) для обработки входных данных.
Key Concepts
- Разреженная активация (Sparse Activation)
- Шлюзовая сеть (Gating Network)
- Специализация экспертов
- Масштабируемость
Use Cases
- Эффективное обучение больших языковых моделей
- Снижение задержки вывода (инференса) для массивных моделей
- Обработка разнообразных типов входных данных в мультимодальных системах