Grok 1

Definition

Grok-1 adalah rilis perdana dari xAI, yang diluncurkan pada November 2023. Ini adalah model bahasa besar berbasis transformer yang hanya menggunakan decoder dengan sekitar 33 miliar parameter. Secara khusus, model ini memanfaatkan arsitektur Mixture-of-Experts (MoE) untuk meningkatkan efisiensi komputasi dan kinerja pada berbagai tugas pemrosesan bahasa alami.

Summary

Versi pertama dari model bahasa Grok yang dirilis oleh xAI, menampilkan arsitektur Mixture-of-Experts dan jumlah parameter sebesar 33 miliar.

Key Concepts

• Mixture-of-Experts
• Arsitektur Transformer
• Jumlah Parameter
• Model Decoder-Saja

Use Cases

• Generasi dan penyelesaian teks
• Sintesis kode pemrograman
• Tugas penalaran kompleks

Related Terms

• grok (Nama Model)
• moe_architecture (Arsitektur Campuran Pakar)
• transformer (Arsitektur Transformer)
• large_language_model (Model Bahasa Besar)