GLM MoE DSA
term_id: glm_moe_dsa
Category: basic_concepts
Definition
Neexistuje žádný standardní termín ‘GLM MoE DSA’. Pravděpodobně však kombinuje GLM (konkrétní architekturu LLM), MoE (Mixture of Experts, techniku pro efektivní škálování velikosti modelu aktivací pouze části
Summary
Jedná se pravděpodobně o záměnu různých konceptů: GLM (General Language Model), MoE (Mixture of Experts) a případně DSA (Dynamic Sparse Attention nebo podobné).
Key Concepts
- Mixture of Experts (směs expertů)
- Sparse Attention (řídká pozornost)
- Škálování modelů
- Efektivní inferenční proces
Use Cases
- Škálování velkých jazykových modelů
- Snížení nákladů na inferenci
- Vysoce výkonné zpracování přirozeného jazyka