Blanding af eksperter
term_id: moe
Category: basic_concepts
Definition
Blanding af eksperter (MoE) er en maskinlæringsarkitektur designet til at forbedre effektivitet og skalerbarhed. I stedet for at bruge én stor model til alle opgaver, anvender MoE flere mindre ’ekspert’-netværk, der aktiveres selektivt baseret på inputtet.
Summary
Et arkitekturmønster, hvor flere specialiserede neurale netværk (eksperter) kombineres via en styringsmekanisme til at behandle inputs.
Key Concepts
- Sparsom aktivering
- Styrenetværk
- Ekspertspecialisering
- Skalerbarhed
Use Cases
- Effektiv træning af store sprogmodeller
- Reducering af latens ved inferens for massive modeller
- Håndtering af forskellige inputtyper i multimodale systemer