Kötegnormalizálás

term_id: batch_normalization

Category: basic_concepts

Definition

Ez a módszer igazítja és skálázza az aktivációkat úgy, hogy azok nulla átlagot és egységnyi varianciát mutassanak minden mini-kötegben a tanítás során. Csökkenti a belső kovariáns eltolódást, lehetővé téve a magasabb tanulási rátákat és a gyorsabb konvergenciát.

Summary

A kötegnormalizálás egy technika, amely rétegbemeneteket normalizál egy mini-köteg mentén, hogy stabilizálja és felgyorsítsa a neurális hálózatok tanítását.

Key Concepts

  • Belső kovariáns eltolódás
  • Mini-köteg statisztika
  • Gradiens stabilizálás
  • Regularizációs hatás

Use Cases

  • Mély neurális hálózatok
  • Konvolúciós neurális hálózatok
  • Tanítási optimalizálás

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related