Mélange d'experts

Definition

Le Mélange d’experts (MoE) est une architecture d’apprentissage automatique conçue pour améliorer l’efficacité et l’évolutivité. Au lieu d’utiliser un seul grand modèle pour toutes les tâches, le MoE emploie plusieurs petits « experts » n

Summary

Un schéma architectural où plusieurs réseaux neuronaux spécialisés (experts) sont combinés via un mécanisme de routage pour traiter les entrées.

Key Concepts

• Activation sparse
• Réseau de routage
• Spécialisation des experts
• Évolutivité

Use Cases

• Entraînement efficace de grands modèles de langage
• Réduction de la latence d’inférence pour les modèles massifs
• Gestion de types d’entrées divers dans les systèmes multimodaux

Related Terms

• Transformateurs sparse (architecture de transformateur avec activation sélective)
• Calcul conditionnel (exécution sélective de parties du modèle)
• Grands modèles de langage (LLM)
• Recherche d’architecture neuronale (NAS)