Batch-Normalisierung

term_id: batch_normalization

Category: basic_concepts

Definition

Diese Methode passt und skaliert Aktivierungen so an, dass sie innerhalb jedes Mini-Batches während des Trainings einen Mittelwert von null und eine Varianz von eins haben. Sie reduziert die interne Kovariatenverschiebung, was höhere Lernraten und schnelleres Training ermöglicht.

Summary

Die Batch-Normalisierung ist eine Technik, die die Eingaben einer Schicht über einen Mini-Batch hinweg normalisiert, um das Training neuronaler Netze zu stabilisieren und zu beschleunigen.

Key Concepts

  • Interne Kovariatenverschiebung
  • Mini-Batch-Statistiken
  • Gradientenstabilisierung
  • Regularisierungseffekt

Use Cases

  • Tiefe Neuronale Netze
  • Convolutional Neural Networks (CNNs)
  • Trainingsoptimierung

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related