Asiantuntijasekoitus (Mixture of Experts)
term_id: moe
Category: basic_concepts
Definition
Asiantuntijasekoitus (MoE) on koneoppimisarkkitehtuuri, jonka tavoitteena on parantaa tehokkuutta ja skaalautuvuutta. Sen sijaan, että käytettäisiin yhtä suurta mallia kaikkiin tehtäviin, MoE käyttää useita pienempiä ‘asiantuntija’-malleja.
Summary
Arkkitehtuurimalli, jossa useita erikoistuneita neuroverkkoihin perustuvia asiantuntijoita yhdistetään porttomekanismin kautta syötteiden käsittelyä varten.
Key Concepts
- Hajanainen aktivointi
- Porttin verkko
- Asiantuntijan erikoistyö
- Skaalautuvuus
Use Cases
- Kielimallien tehokas koulutus
- Inferenssin viiveen vähentäminen suurille malleille
- Monimuotoisten syötteiden käsittely monimutkaisissa järjestelmissä