GLM MoE DSA
term_id: glm_moe_dsa
Category: basic_concepts
Definition
Der findes ikke et enkelt standardbegreb ‘GLM MoE DSA’. Det kombinerer dog sandsynligvis GLM (en specifik LLM-arkitektur), MoE (Mixture of Experts, en teknik til effektivt at skalere modellens størrelse ved kun at aktivere en del af netværket)…
Summary
Dette ser ud til at være en sammenblanding af forskellige begreber: GLM (General Language Model), MoE (Mixture of Experts) og potentielt DSA (Dynamic Sparse Attention eller lignende).
Key Concepts
- Mixture of Experts
- Sparse Attention
- Modelskalering
- Effektiv inferens
Use Cases
- Skalering af store sprogmodeller
- Reducering af inferensomkostninger
- Højtydende NLP