批大小
term_id: batch_size
Category: training_techniques
Definition
批大小是一个关键的超参数，决定了在更新模型内部参数之前处理多少个样本。较大的批大小能提供更准确的梯度估计，但可能增加内存需求并影响收敛特性。
Summary
在随机梯度下降算法的一次迭代中使用的训练样本数量。
Key Concepts
- 梯度估计
- 内存限制
- 收敛稳定性
- 超参数调整
Use Cases
- 调整模型收敛速度
- 训练期间管理GPU内存限制
- 通过噪声梯度提高泛化能力