Mezcla de Expertos
term_id: moe
Category: basic_concepts
Definition
La Mezcla de Expertos (MoE) es una arquitectura de aprendizaje automático diseñada para mejorar la eficiencia y la escalabilidad. En lugar de utilizar un único modelo grande para todas las tareas, MoE emplea múltiples ’expertos’ más pequeños n
Summary
Un patrón arquitectónico donde múltiples redes neuronales especializadas (expertos) se combinan mediante un mecanismo de enrutamiento para procesar entradas.
Key Concepts
- Activación Escasa
- Red de Enrutamiento
- Especialización del Experto
- Escalabilidad
Use Cases
- Entrenamiento eficiente de modelos de lenguaje grandes
- Reducción de la latencia de inferencia en modelos masivos
- Manejo de diversos tipos de entrada en sistemas multimodales