GLM MoE DSA
term_id: glm_moe_dsa
Category: basic_concepts
Definition
Il n’existe pas de terme standard unique « GLM MoE DSA ». Cependant, il combine probablement GLM (une architecture LLM spécifique), MoE (Mixture of Experts, une technique pour mettre à l’échelle la taille du modèle efficacement en n’activant qu’une
Summary
Il semble s’agir d’une confusion entre des concepts distincts : GLM (Modèle de Langage Général), MoE (Mixture of Experts) et potentiellement DSA (Attention Creuse Dynamique ou similaire).
Key Concepts
- Mixture of Experts
- Attention creuse
- Mise à l’échelle des modèles
- Inférence efficace
Use Cases
- Mise à l’échelle des grands modèles de langage
- Réduction des coûts d’inférence
- NLP haute performance