Kerrostason normalisointi

term_id: layer_normalization

Category: basic_concepts

Definition

Kerrostason normalisointi vakauttaa koulutusta vähentämällä sisäistä kovarianssi-shiftiliikettä, mikä on erityisen tehokasta rekurrenteissa ja transformer-arkkitehtuureissa. Toisin kuin partionormalisointi, se ei riipu partion tilastoista.

Summary

Tekniikka, joka normalisoi neuroverkon kerroksen aktivoinnit ominaisuusdimensiossa jokaisen yksittäisen näytteen osalta.

Key Concepts

  • Normalisointi
  • Sisäinen kovarianssi-shifti
  • Transformer-mallit
  • RNN:t

Use Cases

  • Transformer-mallien kuten BERT:n koulutus
  • RNN/LSTM-koulutuksen vakauttaminen
  • Syväoppiminen pienillä partioilla

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related