GLM MoE DSA
term_id: glm_moe_dsa
Category: basic_concepts
Definition
Tidak ada istilah standar tunggal ‘GLM MoE DSA’. Namun, ini kemungkinan menggabungkan GLM (arsitektur LLM spesifik), MoE (Mixture of Experts, teknik untuk menskalakan ukuran model secara efisien dengan mengaktifkan hanya sebagian ahli), dan DSA (mungkin merujuk pada mekanisme perhatian yang jarang/spars).
Summary
Ini tampaknya merupakan penggabungan dari konsep-konsep yang berbeda: GLM (General Language Model), MoE (Mixture of Experts), dan kemungkinan DSA (Dynamic Sparse Attention atau sejenisnya).
Key Concepts
- Campuran Ahli (Mixture of Experts)
- Perhatian Spars (Sparse Attention)
- Penskalan Model
- Inferensi Efisien
Use Cases
- Menskala model bahasa besar
- Mengurangi biaya inferensi
- NLP berkinerja tinggi