バッチ正規化

term_id: batch_normalization

Category: basic_concepts

Definition

この手法は、トレーニング中の各ミニバッチ内で活性化値の平均を0、分散を1に調整・スケーリングします。内部共変量シフトを軽減し、より高い学習率の使用や高速な収束を可能にします。

Summary

バッチ正規化は、ミニバッチ全体にわたって層の入力を正規化し、ニューラルネットワークのトレーニングを安定させ、加速させる手法です。

Key Concepts

  • 内部共変量シフト
  • ミニバッチ統計量
  • 勾配の安定化
  • 正則化効果

Use Cases

  • ディープニューラルネットワーク
  • 畳み込みニューラルネットワーク (CNN)
  • トレーニングの最適化

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related