Blanding av eksperter
term_id: moe
Category: basic_concepts
Definition
Blanding av eksperter (MoE) er en maskinlæringsarkitektur designet for å forbedre effektivitet og skalerbarhet. I stedet for å bruke én stor modell for alle oppgaver, bruker MoE flere mindre ’ekspert’-n
Summary
Et arkitekturmønster der flere spesialiserte nevrale nettverk (eksperter) kombineres via en styringsmekanisme for å behandle inndata.
Key Concepts
- Sparsom aktivering
- Styringsnettverk
- Eksper Spesialisering
- Skalerbarhet
Use Cases
- Trening av store språkmodeller effektivt
- Redusere inferenstid for massive modeller
- Håndtere ulike inndatatyper i multimodale systemer