Lagnormalisering

term_id: layer_normalization

Category: basic_concepts

Definition

Lagnormalisering stabiliserer træningen ved at reducere intern kovariatforskydning, hvilket er særligt effektivt i rekurrente og transformer-arkitekturer. I modsætning til batchnormalisering, der afhænger af batch-statistikker, fungerer lagnormalisering uafhængigt af batchstørrelsen.

Summary

En teknik, der normaliserer aktiveringerne af et neuralt netværkslag på tværs af funktionsdimensionen for hver enkelt prøve.

Key Concepts

  • Normalisering
  • Intern kovariatforskydning
  • Transformermodeller
  • RNN’er (Rekurrente neurale netværk)

Use Cases

  • Træning af Transformer-modeller som BERT
  • Stabilisering af RNN/LSTM-træning
  • Dyb læring med små batch-størrelser

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related