梯度累积
term_id: gradient_accumulation
Category: training_techniques
Definition
这种优化策略允许深度学习模型使用超出 GPU 显存容量的有效批量大小进行训练。通过从多个小批量中累积梯度并执行权重更新，可以实现这一目标。
Summary
梯度累积是一种通过在前向/反向传播过程中累加多个步骤的梯度，从而模拟更大批量大小的技术，之后才更新权重。
Key Concepts
- 批量大小模拟
- 内存优化
- 随机梯度下降
- 权重更新
Use Cases
- 微调大模型
- 在有限显存下训练
- 稳定损失收敛