Grok 1
term_id: grok_1
Category: basic_concepts
Definition
Grok-1 is de eerste release van xAI, gelanceerd in november 2023. Het is een decoder-only transformer-groot taalmodel met ongeveer 33 miljard parameters. Opvallend is dat het gebruikmaakt van een Mixture-of-Experts (MoE)-architectuur, waarbij niet alle parameters bij elke verwerking worden geactiveerd. Dit zorgt voor efficiëntere berekeningen en het vermogen om grotere modellen te trainen binnen beperkte hardwarebeperkingen.
Summary
De eerste versie van het Grok-taalmodel uitgebracht door xAI, met een Mixture-of-Experts-architectuur en 33 miljard parameters.
Key Concepts
- Mixture-of-Experts
- Transformer-architectuur
- Aantal parameters
- Decoder-only model
Use Cases
- Tekstgeneratie en -aanvulling
- Codesynthese
- Complexe redeneertaken