신경망 스케일링 법칙

Definition

신경망 스케일링 법칙은 모델의 성능과 규모(데이터셋 크기, 파라미터 수, 컴퓨팅 예산 포함) 사이의 예측 가능한 멱법칙 관계를 설명합니다. 이러한 법칙은 모델이 커질수록 성능이 어떻게 향상되는지를 나타냅니다.

Summary

데이터, 파라미터 또는 컴퓨팅 자원의 증가에 따른 모델 성능 향상을 예측하는 경험적 관계.

Key Concepts

• 멱법칙 관계
• 파라미터 스케일링
• 데이터 효율성
• 컴퓨팅 최적 훈련

Use Cases

• 대규모 언어모델(LLM) 자원 계획
• 모델 아키텍처 선택
• 성능 예측

Related Terms

• Chinchilla optimization (친칠라 최적화)
• Loss scaling (손실 스케일링)
• Emergent abilities (창발적 능력)
• Compute budget (컴퓨팅 예산)