Toplu Normalizasyon

term_id: batch_normalization

Category: basic_concepts

Definition

Bu yöntem, eğitim sırasında her mini-batch içindeki aktivasyonları ortalaması sıfır ve varyansı bir olacak şekilde ayarlar ve ölçeklendirir. İçsel kovaryans kaymasını azaltarak daha yüksek öğrenme oranlarına olanak tanır ve daha hızlı yakınsama sağlar.

Summary

Toplu normalizasyon, sinir ağı eğitimini stabilize etmek ve hızlandırmak için katman girdilerini mini-batch boyunca normalize eden bir tekniktir.

Key Concepts

  • İçsel kovaryans kayması
  • Mini-batch istatistikleri
  • Gradyan stabilizasyonu
  • Düzenlileştirme etkisi

Use Cases

  • Derin Sinir Ağları
  • Kontrolcü Sinir Ağları (Convolutional Neural Networks)
  • Eğitim optimizasyonu

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related