Lagnormalisering

term_id: layer_normalization

Category: basic_concepts

Definition

Lagnormalisering stabiliserar träningen genom att minska intern kovariansförskjutning, särskilt effektivt i rekurrenta och transformer-arkitekturer. Till skillnad från batchnormalisering, som beror på batchstatistik, är lagnormalisering oberoende av batchstorleken.

Summary

En teknik som normaliserar aktiveringarna i ett neuralt nätverkslager över funktionsdimensionen för varje enskilt prov.

Key Concepts

  • Normalisering
  • Intern kovariansförskjutning
  • Transformer-modeller
  • RNN:er

Use Cases

  • Träna Transformer-modeller som BERT
  • Stabilisera RNN/LSTM-träning
  • Djupinlärning med små batchstorlekar

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related