Grok 1

term_id: grok_1

Category: basic_concepts

Definition

Grok-1 là bản phát hành đầu tiên từ xAI, ra mắt vào tháng 11 năm 2023. Đây là một mô hình ngôn ngữ lớn dựa trên kiến trúc Transformer chỉ bao gồm phần giải mã (decoder-only) với khoảng 33 tỷ tham số. Điểm đáng chú ý là nó sử dụng kiến trúc Mixture-of-Experts (MoE), cho phép mô hình kích hoạt chỉ một phần các tham số cho mỗi lần suy luận, giúp tăng hiệu quả tính toán.

Summary

Phiên bản đầu tiên của mô hình ngôn ngữ Grok do xAI phát hành, sử dụng kiến trúc Mixture-of-Experts và có khoảng 33 tỷ tham số.

Key Concepts

  • Mixture-of-Experts (Hỗn hợp chuyên gia)
  • Kiến trúc Transformer
  • Số lượng tham số
  • Mô hình chỉ giải mã

Use Cases

  • Tạo và hoàn thiện văn bản
  • Tổng hợp mã nguồn
  • Các tác vụ suy luận phức tạp

Related