Směs expertů
term_id: moe
Category: basic_concepts
Definition
Směs expertů (MoE) je architektura strojového učení navržená ke zlepšení efektivity a škálovatelnosti. Místo použití jednoho velkého modelu pro všechny úkoly využívá MoE více menších „expertních“ sítí, které jsou aktivovány dynamicky podle vstupu.
Summary
Architektonický vzor, kde je několik specializovaných neuronových sítí (expertů) kombinováno prostřednictvím bránícího mechanismu k zpracování vstupů.
Key Concepts
- Řídká aktivace
- Bránící síť (Gating Network)
- Specializace expertů
- Škálovatelnost
Use Cases
- Efektivní trénink velkých jazykových modelů
- Snížení latence inferenčních procesů u masivních modelů
- Zpracování různých typů vstupů v multimodálních systémech