Normalización por capa

term_id: layer_normalization

Category: basic_concepts

Definition

La normalización por capa estabiliza el entrenamiento reduciendo el desplazamiento de covarianza interno, siendo particularmente efectiva en arquitecturas recurrentes y transformadoras. A diferencia de la normalización por lotes, que depende de las estadísticas del lote, esta funciona independientemente del tamaño del mismo.

Summary

Una técnica que normaliza las activaciones de una capa de red neuronal a lo largo de la dimensión de características para cada muestra individual.

Key Concepts

  • Normalización
  • Desplazamiento de covarianza interno
  • Modelos transformadores
  • RNNs

Use Cases

  • Entrenamiento de modelos Transformadores como BERT
  • Estabilización del entrenamiento de RNN/LSTM
  • Aprendizaje profundo con tamaños de lote pequeños

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related