Lagsnormalisering

term_id: layer_normalization

Category: basic_concepts

Definition

Lagsnormalisering stabiliserer treningen ved å redusere intern kovariansforskyvning, spesielt effektiv i rekurrente og transformerarkitekturer. I motsetning til batchnormalisering, som avhenger av batchstat

Summary

En teknikk som normaliserer aktivitetene til et nevralt nettverkslag over dimensjonen for funksjoner for hver enkelt prøve.

Key Concepts

  • Normalisering
  • Intern kovariansforskyvning
  • Transformermodeller
  • RNN-er

Use Cases

  • Trening av Transformer-modeller som BERT
  • Stabilisering av RNN/LSTM-trening
  • Dyp læring med små batchstørrelser

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related