Normalisation par lot

term_id: batch_normalization

Category: basic_concepts

Definition

Cette méthode ajuste et met à l’échelle les activations pour avoir une moyenne nulle et une variance unitaire au sein de chaque mini-lot pendant l’entraînement. Elle réduit le décalage de covariante interne, permettant des taux d’apprentissage plus élevés et un entraînem

Summary

La normalisation par lot est une technique qui normalise les entrées des couches sur un mini-lot pour stabiliser et accélérer l’entraînement des réseaux neuronaux.

Key Concepts

  • Décalage de covariante interne
  • Statistiques de mini-lot
  • Stabilisation des gradients
  • Effet de régularisation

Use Cases

  • Réseaux neuronaux profonds
  • Réseaux neuronaux convolutifs
  • Optimisation de l’entraînement

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related