批归一化

term_id: batch_normalization

Category: basic_concepts

Definition

该方法在训练期间调整并缩放激活值，使其在每个小批量中具有零均值和单位方差。它减少了内部协变量偏移，允许使用更高的学习率和更快的收敛速度。

Summary

批归一化是一种技术，通过对小批量数据上的层输入进行归一化，以稳定并加速神经网络的训练。

Key Concepts

  • 内部协变量偏移
  • 小批量统计量
  • 梯度稳定
  • 正则化效应

Use Cases

  • 深度神经网络
  • 卷积神经网络
  • 训练优化

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related