Grok 1
term_id: grok_1
Category: basic_concepts
Definition
Grok-1 est la première publication de xAI, lancée en novembre 2023. Il s’agit d’un grand modèle de langage basé sur un transformateur à décodeur uniquement, comptant environ 33 milliards de paramètres. Il se distingue notablement par l’utilisation d’une architecture Mixture-of-Experts (MoE), permettant une efficacité computationnelle accrue tout en maintenant une grande capacité de modélisation.
Summary
La première version du modèle de langage Grok publiée par xAI, présentant une architecture Mixture-of-Experts et un nombre de paramètres de 33 milliards.
Key Concepts
- Mixture-of-Experts
- Architecture Transformer
- Nombre de paramètres
- Modèle à décodeur uniquement
Use Cases
- Génération et complétion de texte
- Synthèse de code
- Tâches de raisonnement complexes