Gradient Accumulation

term_id: gradient_accumulation

Category: training_techniques

Definition

이 최적화 전략은 GPU 메모리에 맞지 않는 효과적인 배치 크기로 딥러닝 모델을 학습할 수 있게 합니다. 여러 미니 배치에서 그래디언트를 누적하고 수행함으로써 메모리 효율성을 높입니다.

Summary

여러 순전파/역전파 단계에 걸쳐 그래디언트를 합산하여 가중치를 업데이트하기 전에 더 큰 배치 크기를 시뮬레이션하는 기법입니다.

Key Concepts

  • 배치 크기 시뮬레이션
  • 메모리 최적화
  • 확률적 경사 하강법
  • 가중치 업데이트

Use Cases

  • 대규모 모델 파인튜닝
  • 제한된 VRAM 환경에서의 학습
  • 손실 수렴 안정화

Related