Layer Normalization

term_id: layer_normalization

Category: basic_concepts

Definition

Layer Normalization stabiliseert het trainingsproces door interne covariate shift te verminderen, wat bijzonder effectief is in recurrente en transformer-architecturen. In tegenstelling tot Batch Normalization, dat afhankelijk is van batchstatistieken.

Summary

Een techniek die de activaties van een neurale netwerklaag normaliseert over de feature-dimensie voor elke individuele steekproef.

Key Concepts

  • Normalisatie
  • Interne Covariate Shift
  • Transformermodellen
  • RNN’s

Use Cases

  • Het trainen van Transformer-modellen zoals BERT
  • Het stabiliseren van RNN/LSTM-training
  • Deep learning met kleine batchgroottes

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related