Batch-normalisering

term_id: batch_normalization

Category: basic_concepts

Definition

Denne metode justerer og skalerer aktiveringerne for at have nul middelværdi og varians lig med 1 inden for hver mini-batch under træning. Den reducerer intern kovariansforskydning, hvilket muliggør højere læringshastigheder og hurtigere convergence.

Summary

Batch-normalisering er en teknik, der normaliserer laginput over en mini-batch for at stabilisere og accelerere træningen af neurale netværk.

Key Concepts

  • Intern kovariansforskydning
  • Mini-batch-statistik
  • Gradientstabilisering
  • Regulariseringseffekt

Use Cases

  • Dybe neurale netværk
  • Konvolutionelle neurale netværk
  • Optimering af træning

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related