Normalizare pe straturi

term_id: layer_normalization

Category: basic_concepts

Definition

Normalizarea pe straturi stabilizează antrenamentul reducând schimbarea covarianței interne, fiind particular eficientă în arhitecturile recurente și transformator. Spre deosebire de Normalizarea pe loturi, care depinde de statisticile lotului, aceasta calculează media și varianța pentru fiecare eșantimon în parte.

Summary

O tehnică care normalizează activările unui strat de rețea neuronală de-a lungul dimensiunii caracteristicilor pentru fiecare eșantion individual.

Key Concepts

  • Normalizare
  • Schimbarea covarianței interne
  • Modele Transformator
  • RNN-uri

Use Cases

  • Antrenarea modelelor Transformator precum BERT
  • Stabilizarea antrenamentului RNN/LSTM
  • Învățarea profundă cu dimensiuni mici de lot

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related