Mixture of Experts
term_id: moe
Category: basic_concepts
Definition
Mixture of Experts (MoE) ist eine Machine-Learning-Architektur, die entwickelt wurde, um Effizienz und Skalierbarkeit zu verbessern. Anstatt ein einzelnes großes Modell für alle Aufgaben zu verwenden, setzt MoE mehrere kleinere ‘Expert’-N
Summary
Ein Architekturmuster, bei dem mehrere spezialisierte neuronale Netze (Experten) durch einen Gating-Mechanismus kombiniert werden, um Eingaben zu verarbeiten.
Key Concepts
- Sparsity Activation (Spärliche Aktivierung)
- Gating Network (Steuerungsnetzwerk)
- Expert Specialization (Experten-Spezialisierung)
- Skalierbarkeit
Use Cases
- Effizientes Training großer Sprachmodelle
- Reduzierung der Inferenzlatenz für massive Modelle
- Verarbeitung unterschiedlicher Eingabetypen in multimodalen Systemen