Normalisation par couche

term_id: layer_normalization

Category: basic_concepts

Definition

La normalisation par couche stabilise l’entraînement en réduisant le décalage de covariante interne, particulièrement efficace dans les architectures récurrentes et les transformateurs. Contrairement à la normalisation par lot, qui dépend des statistiques du lot…

Summary

Une technique qui normalise les activations d’une couche de réseau neuronal à travers la dimension des fonctionnalités pour chaque échantillon individuel.

Key Concepts

  • Normalisation
  • Décalage de covariante interne
  • Modèles Transformateurs
  • RNN (Réseaux de neurones récurrents)

Use Cases

  • Entraînement de modèles Transformateurs comme BERT
  • Stabilisation de l’entraînement des RNN/LSTM
  • Apprentissage profond avec de petites tailles de lot

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related