Mixture of Experts
term_id: moe
Category: basic_concepts
Definition
Mixture of Experts (MoE) is een machine learning-architectuur die is ontworpen om efficiëntie en schaalbaarheid te verbeteren. In plaats van één groot model voor alle taken te gebruiken, maakt MoE gebruik van meerdere kleinere ’expert’-netwerken die dynamisch worden geactiveerd op basis van de invoer.
Summary
Een architectuurpatroon waarbij meerdere gespecialiseerde neurale netwerken (experts) worden gecombineerd via een stuurmechanisme (gating mechanism) om invoer te verwerken.
Key Concepts
- Sparse Activation (spaarse activatie)
- Gating Network (sturnetwerk)
- Expert Specialization (expertspecialisatie)
- Schaalbaarheid
Use Cases
- Efficiënt trainen van grote taalmodellen
- Verminderen van inferentielatentie voor massieve modellen
- Omgaan met diverse invoertypen in multimodale systemen