Grok 1
term_id: grok_1
Category: basic_concepts
Definition
Grok-1 — это первая модель, выпущенная компанией xAI в ноябре 2023 года. Это большая языковая модель на архитектуре трансформера с декодером, содержащая около 33 миллиардов параметров. Модель использует архитектуру Mixture-of-Experts (смесь экспертов), что позволяет ей эффективно обрабатывать сложные задачи, переключаясь между различными подсетями в зависимости от входных данных.
Summary
Первая версия языковой модели Grok, выпущенная компанией xAI, использующая архитектуру Mixture-of-Experts и имеющая 33 миллиарда параметров.
Key Concepts
- Mixture-of-Experts (Смесь экспертов)
- Архитектура Трансформер
- Количество параметров
- Модель только с декодером
Use Cases
- Генерация и дополнение текста
- Синтез кода
- Выполнение сложных логических задач