Batch Normalization

term_id: batch_normalization

Category: basic_concepts

Definition

Deze methode past activaties aan en schaalt ze zodat ze een gemiddelde van nul en een variantie van één hebben binnen elke mini-batch tijdens de training. Het vermindert interne coördinaatverschuiving, waardoor hogere leersnelheden en snellere convergentie mogelijk zijn.

Summary

Batchnormalisatie is een techniek die de invoer van lagen normaliseert over een mini-batch om de training van neurale netwerken te stabiliseren en te versnellen.

Key Concepts

  • Interne coördinaatverschuiving
  • Mini-batch statistieken
  • Gradientstabilisatie
  • Regularisatie-effect

Use Cases

  • Diepe Neurale Netwerken
  • Convolutionele Neurale Netwerken (CNN’s)
  • Trainingsoptimalisatie

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related