レイヤー正規化

term_id: layer_normalization

Category: basic_concepts

Definition

レイヤー正規化は内部共変量シフトを軽減することでトレーニングを安定させ、特にリカレントネットワークやトランスフォーマーアーキテクチャで効果的です。バッチ統計に依存するバッチ正規化とは異なり、サンプルごとに独立して計算されます。

Summary

各個別サンプルについて、ニューラルネットワークの層の活性化を特徴量次元全体で正規化する手法。

Key Concepts

  • 正規化
  • 内部共変量シフト
  • トランスフォーマーモデル
  • RNN（再帰型ニューラルネットワーク）

Use Cases

  • BERTのようなトランスフォーマーモデルのトレーニング
  • RNN/LSTMのトレーニング安定化
  • 小バッチサイズでのディープラーニング

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related