层归一化

term_id: layer_normalization

Category: basic_concepts

Definition

层归一化通过减少内部协变量偏移来稳定训练过程，尤其在循环神经网络和Transformer架构中非常有效。与依赖于批次统计信息的批归一化不同，层归一化不依赖于批次大小。

Summary

一种技术，针对每个单独样本，对神经网络层的激活值在特征维度上进行归一化处理。

Key Concepts

  • 归一化
  • 内部协变量偏移
  • Transformer模型
  • 循环神经网络

Use Cases

  • 训练BERT等Transformer模型
  • 稳定RNN/LSTM的训练
  • 小批量大小的深度学习

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related