Batch-normalisering

term_id: batch_normalization

Category: basic_concepts

Definition

Denne metoden justerer og skalerer aktivasjoner slik at de har null gjennomsnitt og varians lik ett innen hver minibatch under trening. Den reduserer internasjonal kovariansforskyvning, noe som muliggjør høyere læringshastigheter og raskere konvergens.

Summary

Batch-normalisering er en teknikk som normaliserer laginndataene over en minibatch for å stabilisere og akselerere treningen av neurale nettverk.

Key Concepts

  • Intern kovariansforskyvning
  • Minibatch-statistikk
  • Stabilisering av gradienter
  • Regulariseringseffekt

Use Cases

  • Dype neurale nettverk
  • Konvolusjonelle neurale nettverk
  • Optimalisering av trening

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related