Normalizacja warstwowa

term_id: layer_normalization

Category: basic_concepts

Definition

Normalizacja warstwowa stabilizuje szkolenie, redukując wewnętrzny przesunięcie kowariancji, co jest szczególnie skuteczne w architekturach rekurencyjnych (RNN) i transformatorowych. W przeciwieństwie do normalizacji partii (Batch Normalization), która zależy od statystyk partii, normalizacja warstwowa działa niezależnie od wielkości partii.

Summary

Technika normalizująca aktywacje warstwy sieci neuronowej wzdłuż wymiaru cechy dla każdej pojedynczej próbki.

Key Concepts

  • Normalizacja
  • Wewnętrzne przesunięcie kowariancji
  • Modele transformatorowe
  • Sieci rekurencyjne (RNN)

Use Cases

  • Szkolenie modeli transformatorowych, takich jak BERT
  • Stabilizacja szkolenia RNN/LSTM
  • Głębokie uczenie przy małych rozmiarach partii

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related