Grok 1

Definition

Grok-1 je první vydání od společnosti xAI, spuštěné v listopadu 2023. Jedná se o velký jazykový model založený na transformerech s architekturou pouze dekodéru a přibližně 33 miliardami parametrů. Významně využívá architekturu směsi expertů.

Summary

První verze jazykového modelu Grok vydaná společností xAI, která využívá architekturu směsi expertů (MoE) a má 33 miliard parametrů.

Key Concepts

• Směs expertů (MoE)
• Architektura Transformer
• Počet parametrů
• Model pouze s dekodérem

Use Cases

• Generování a dokončování textu
• Syntéza kódu
• Úlohy složitého logického uvažování

Related Terms

• grok (chatbot Grok)
• moe_architecture (architektura směsi expertů)
• transformer (model architektury Transformer)
• large_language_model (velký jazykový model)