Normalizace vrstvy

term_id: layer_normalization

Category: basic_concepts

Definition

Normalizace vrstvy stabilizuje trénink snížením vnitřního posunu kovariance, což je zejména účinné u rekurentních a transformátorových architektur. Na rozdíl od normalizace batche, která závisí na statistikách batche, tato metoda funguje nezávisle na velikosti batche.

Summary

Technika, která normalizuje aktivace vrstvy neuronové sítě napříč rozměrem znaků pro každý jednotlivý vzorek.

Key Concepts

  • Normalizace
  • Vnitřní posun kovariance
  • Transformátorové modely
  • Rekurentní neuronové sítě (RNN)

Use Cases

  • Trénování transformátorových modelů jako BERT
  • Stabilizace tréninku RNN/LSTM
  • Hluboké učení s malými velikostmi batchů

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related