Normalização por Camada

term_id: layer_normalization

Category: basic_concepts

Definition

A Normalização por Camada estabiliza o treinamento reduzindo o desvio de covariância interno, sendo particularmente eficaz em arquiteturas recorrentes e transformers. Diferente da Normalização por Lote, que depende das estatísticas do lote…

Summary

Uma técnica que normaliza as ativações de uma camada de rede neural através da dimensão dos recursos para cada amostra individual.

Key Concepts

  • Normalização
  • Desvio de Covariância Interno
  • Modelos Transformer
  • RNNs

Use Cases

  • Treinamento de modelos Transformer como BERT
  • Estabilização do treinamento de RNN/LSTM
  • Aprendizado profundo com tamanhos de lote pequenos

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related