Erän normalisointi

term_id: batch_normalization

Category: basic_concepts

Definition

Tämä menetelmä säätää ja skaalaa aktivointiarvoja siten, että niillä on nolla keskiarvo ja yksi varianssi jokaisessa mini-erässä koulutuksen aikana. Se vähentää sisäistä ko-varianssi siirtymää, mikä mahdollistaa suuremmat oppimisasteet ja nopeamman konvergenssin.

Summary

Erän normalisointi on tekniikka, joka normalisoi kerroksen syötteet mini-erän yli vakauttaakseen ja kiihdyttääksesi neuroverkon koulutusta.

Key Concepts

  • Sisäinen ko-varianssi siirtymä
  • Mini-erän tilastot
  • Gradientin vakauttaminen
  • Säännöllistyvaikutus

Use Cases

  • Syvät neuroverkot
  • Konvoluutio-neuroverkot
  • Koulutuksen optimointi

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related