Пакетная нормализация

term_id: batch_normalization

Category: basic_concepts

Definition

Этот метод корректирует и масштабирует активации так, чтобы они имели нулевое среднее значение и единичную дисперсию внутри каждого мини-батча во время обучения. Это снижает внутреннее ковариационное смещение, позволяя использовать более высокие скорости обучения и ускоря convergence.

Summary

Пакетная нормализация — это техника, которая нормализует входные данные слоев по мини-батчам для стабилизации и ускорения обучения нейронной сети.

Key Concepts

  • Внутреннее ковариационное смещение
  • Статистика мини-батча
  • Стабилизация градиентов
  • Регуляризирующий эффект

Use Cases

  • Глубокие нейронные сети
  • Сверточные нейронные сети
  • Оптимизация обучения

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related