バッチサイズ
term_id: batch_size
Category: training_techniques
Definition
バッチサイズは、モデルの内部パラメータが更新される前に処理されるサンプルの数を決定する重要なハイパーパラメータです。より大きなバッチサイズは、勾配のより正確な推定値を提供しますが、メモリ制約の影響を受けやすくなります。
Summary
確率的勾配降下アルゴリズムの1回の反復処理で使用されるトレーニングサンプルの数。
Key Concepts
- 勾配推定
- メモリ制約
- 収束の安定性
- ハイパーパラメータ調整
Use Cases
- モデルの収束速度のチューニング
- 学習中のGPUメモリ制限の管理
- ノイズのある勾配による汎化性能の向上