Batchnormalisering

term_id: batch_normalization

Category: basic_concepts

Definition

Denna metod justerar och skalactivationsfunktionerna så att de har nollmedelvärde och enhetsvarians inom varje minibatch under träningen. Den minskar intern kovariansförskjutning, vilket möjliggör högre inlärningshastigheter och snabbare konvergens.

Summary

Batchnormalisering är en teknik som normaliserar lagerinsignaler över en minibatch för att stabilisera och påskynda träningen av neurala nätverk.

Key Concepts

  • Intern kovariansförskjutning
  • Minibatch-statistik
  • Stabilisering av gradienter
  • Regulariseringseffekt

Use Cases

  • Djupa neurala nätverk
  • Konvolutionella neurala nätverk
  • Optimering av träning

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related