レイヤー正規化
term_id: layer_normalization
Category: basic_concepts
Definition
レイヤー正規化は、内部共変量シフトを軽減することでトレーニングの安定化を図ります。特にリカレントニューラルネットワークやトランスフォーマーアーキテクチャで効果的です。バッチ統計量に依存するバッチ正規化とは異なり、バッチサイズが小さい場合でも安定して動作します。
Summary
個々のサンプルごとに、ニューラルネットワークの層の活性化値を特徴量次元に対して正規化する手法。
Key Concepts
- 正規化
- 内部共変量シフト
- トランスフォーマーモデル
- RNN
Use Cases
- BERTなどのトランスフォーマーモデルのトレーニング
- RNN/LSTMのトレーニング安定化
- 小バッチサイズでのディープラーニング
Code Example
| |