Grok 1
term_id: grok_1
Category: basic_concepts
Definition
Grok-1 er den første udgivelse fra xAI, lanceret i november 2023. Det er en decoder-only transformer-baseret stor sprogmodel med cirka 33 milliarder parametre. Bemærkelsesværdigt nok bruger den en Mixture-of-Experts (MoE)-arkitektur, hvilket gør det muligt for modellen at være meget stor, men stadig effektiv at køre ved kun at aktivere en delmængde af dens parametre pr. input.
Summary
Den første version af Grok-sproget modellen udgivet af xAI, med en Mixture-of-Experts-arkitektur og 33 milliarder parametre.
Key Concepts
- Mixture-of-Experts
- Transformer-arkitektur
- Parameterantal
- Decoder-only model
Use Cases
- Tekstgenerering og -fuldførelse
- Kodesyntese
- Komplekse ræsonnementsopgaver