Normalizzazione batch

term_id: batch_normalization

Category: basic_concepts

Definition

Questo metodo regola e scala le attivazioni per avere media zero e varianza unitaria all’interno di ogni mini-batch durante l’addestramento. Riduce lo spostamento della covarianza interna, consentendo tassi di apprendimento più elevati e un addestramento più veloce.

Summary

La normalizzazione batch è una tecnica che normalizza gli input dei layer su un mini-batch per stabilizzare e accelerare l’addestramento delle reti neurali.

Key Concepts

  • Spostamento della covarianza interna
  • Statistiche del mini-batch
  • Stabilizzazione del gradiente
  • Effetto di regolarizzazione

Use Cases

  • Reti neurali profonde
  • Reti neurali convoluzionali
  • Ottimizzazione dell’addestramento

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related