Normalização em Lote

term_id: batch_normalization

Category: basic_concepts

Definition

Este método ajusta e escala as ativações para terem média zero e variância unitária dentro de cada mini-lote durante o treinamento. Ele reduz o deslocamento de covariância interna, permitindo taxas de aprendizado mais altas e convergência mais rápida, além de atuar como um regularizador leve.

Summary

A normalização em lote é uma técnica que normaliza as entradas de uma camada ao longo de um mini-lote para estabilizar e acelerar o treinamento de redes neurais.

Key Concepts

  • Deslocamento de covariância interna
  • Estatísticas de mini-lote
  • Estabilização de gradiente
  • Efeito de regularização

Use Cases

  • Redes Neurais Profundas
  • Redes Neurais Convolucionais
  • Otimização de treinamento

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related