분산 학습

Definition

분산 학습은 여러 GPU나 노드에서 계산을 병렬화하여 모델 수렴 속도를 가속화합니다. 여기에는 각 작업자가 데이터의 하위 집합을 처리하는 데이터 병렬성(data parallelism)과 모델 병렬성(model parallelism) 등의 기법이 포함됩니다.

Summary

데이터나 계산을 여러 장치나 서버로 분할하여 머신러닝 모델을 학습시키는 방법입니다.

Key Concepts

• 데이터 병렬성
• 모델 병렬성
• GPU 클러스터
• 그라디언트 동기화

Use Cases

• 대형 언어 모델 학습
• 컴퓨터 비전 데이터셋 처리 가속화
• 복잡한 신경망의 학습 시간 단축

Related Terms

• Parallel Computing (병렬 컴퓨팅)
• GPU (그래픽 처리 장치)
• Horovod (Horovod)
• PyTorch DDP (PyTorch 분산 데이터 병렬)