勾配累積
term_id: gradient_accumulation
Category: training_techniques
Definition
この最適化戦略により、深層学習モデルはGPUメモリに収まらないような有効なバッチサイズを使用して訓練できます。複数のミニバッチからの勾配を累積し、その後で重み更新を行います。
Summary
勾配累積は、重みを更新する前に複数の順伝播・逆伝播パスにわたって勾配を合計することで、より大きなバッチサイズをシミュレートする手法です。
Key Concepts
- バッチサイズシミュレーション
- メモリ最適化
- 確率的勾配降下法
- 重み更新
Use Cases
- 大規模モデルのファインチューニング
- VRAMが限られた環境での訓練
- 損失関数の収束安定化