Layer-Normalisierung

term_id: layer_normalization

Category: basic_concepts

Definition

Layer-Normalisierung stabilisiert das Training, indem sie die interne Kovariatenverschiebung reduziert, was besonders effektiv bei rekurrenten und Transformer-Architekturen ist. Im Gegensatz zur Batch-Normalisierung, die von Batch-Statistiken abhängt, funktioniert sie unabhängig von der Batch-Größe.

Summary

Eine Technik, die die Aktivierungen einer neuronalen Netzwerkschicht über die Merkmalsdimension für jedes einzelne Sample normalisiert.

Key Concepts

  • Normalisierung
  • Interne Kovariatenverschiebung
  • Transformer-Modelle
  • RNNs (Recurrent Neural Networks)

Use Cases

  • Training von Transformer-Modellen wie BERT
  • Stabilisierung des Trainings von RNN/LSTM
  • Deep Learning mit kleinen Batch-Größen

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related