Normalizzazione di Livello

term_id: layer_normalization

Category: basic_concepts

Definition

La Normalizzazione di Livello stabilizza l’addestramento riducendo lo spostamento della covarianza interna, risultando particolarmente efficace nelle architetture ricorrenti e nei transformer. A differenza della Batch Normalization, che dipende dalle statistiche del batch, questa metodo calcola la media e la varianza su tutte le funzionalità di un singolo campione.

Summary

Una tecnica che normalizza le attivazioni di uno strato di rete neurale attraverso la dimensione delle funzionalità per ogni singolo campione.

Key Concepts

  • Normalizzazione
  • Spostamento della Covarianza Interna
  • Modelli Transformer
  • RNN

Use Cases

  • Addestramento di modelli Transformer come BERT
  • Stabilizzazione dell’addestramento di RNN/LSTM
  • Deep learning con dimensioni di batch ridotte

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related