Normalizacja wsadowa

term_id: batch_normalization

Category: basic_concepts

Definition

Ta metoda dostosowuje i skaluje aktywacje tak, aby miały zerową średnią i jednostkową wariancję w każdej mini-partii podczas treningu. Redukuje ona wewnętrzny przesunięcie kowariancji, umożliwiając stosowanie wyższych szybkości uczenia i szybszą konwergencję.

Summary

Normalizacja wsadowa to technika normalizująca wejścia warstw w obrębie mini-partii, mająca na celu stabilizację i przyspieszenie treningu sieci neuronowych.

Key Concepts

  • Wewnętrzne przesunięcie kowariancji
  • Statystyki mini-partii
  • Stabilizacja gradientu
  • Efekt regularizacji

Use Cases

  • Głębokie Sieci Neuronowe
  • Konwolucyjne Sieci Neuronowe
  • Optymalizacja treningu

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related