Normalizare pe loturi

term_id: batch_normalization

Category: basic_concepts

Definition

Această metodă ajustează și scalează activările pentru a avea media zero și varianța unitară în fiecare mini-lot în timpul antrenării. Reduce decalajul covarianței interne, permițând rate mai mari de învățare și antrena…

Summary

Normalizarea pe loturi este o tehnică care normalizează intrările stratului pe un mini-lot pentru a stabiliza și accelera antrenarea rețelelor neuronale.

Key Concepts

  • Decalajul covarianței interne
  • Statistici mini-lot
  • Stabilizarea gradientului
  • Efect de regularizare

Use Cases

  • Rețele Neurone Profunde
  • Rețele Neurone Convoluționale
  • Optimizarea antrenării

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related