그로크 1 (Grok 1)

Definition

그로크-1(Grok-1)은 2023년 11월에 출시된 xAI의 첫 번째 출시물입니다. 약 330억 개의 파라미터를 가진 디코더 전용(decoder-only) 트랜스포머 기반 대형 언어 모델입니다. 특히, 이 모델은 전문가 혼합(Mixture-of-Experts) 아키텍처를 활용하여 효율적인 추론과 생성 능력을 갖추고 있습니다.

Summary

xAI가 출시한 첫 번째 그로크 언어 모델로, 전문가 혼합(Mixture-of-Experts) 아키텍처와 330억 개의 파라미터를 특징으로 합니다.

Key Concepts

• 전문가 혼합 (Mixture-of-Experts)
• 트랜스포머 아키텍처 (Transformer Architecture)
• 파라미터 수 (Parameter Count)
• 디코더 전용 모델 (Decoder-only Model)

Use Cases

• 텍스트 생성 및 완성
• 코드 합성 (Code Synthesis)
• 복잡한 추론 작업

Related Terms

• grok (그로크: xAI의 언어 모델 브랜드)
• moe_architecture (MoE: 여러 전문 모델을 조합하는 아키텍처)
• transformer (트랜스포머: 자기 주의 메커니즘을 기반으로 한 딥러닝 아키텍처)
• large_language_model (LLM: 방대한 데이터로 학습된 대규모 언어 모델)