Szakértők keveréke
term_id: moe
Category: basic_concepts
Definition
A Szakértők keveréke (MoE) egy gépi tanulási architektúra, amelyet a hatékonyság és a skálázhatóság javítására terveztek. Az MoE nem egyetlen nagy modellt használ minden feladatra, hanem több kisebb ‘szakértő’ hálózatot alkalmaz.
Summary
Egy építészeti minta, ahol több specializált neurális hálózatot (szakértőt) kapcsolnak össze egy kapuzó mechanizmussal a bemenetek feldolgozására.
Key Concepts
- Spár aktiválás
- Kapuzó hálózat
- Szakértői specializáció
- Skálázhatóság
Use Cases
- Nagy nyelvi modellek hatékony betanítása
- Az inferencia késleltetésének csökkentése hatalmas modelleknél
- Különböző bemeneti típusok kezelése multimodális rendszerekben