Normalisasi Batch

term_id: batch_normalization

Category: basic_concepts

Definition

Metode ini menyesuaikan dan menskalakan aktivasi agar memiliki rata-rata nol dan varians satuan di dalam setiap mini-batch selama pelatihan. Ini mengurangi pergeseran kovariat internal, memungkinkan tingkat pembelajaran yang lebih tinggi dan percepatan

Summary

Normalisasi batch adalah teknik yang menormalisasi input lapisan di seluruh mini-batch untuk menstabilkan dan mempercepat pelatihan jaringan saraf.

Key Concepts

  • Pergeseran kovariat internal
  • Statistik mini-batch
  • Stabilisasi gradien
  • Efek regularisasi

Use Cases

  • Jaringan Saraf Tiruan Dalam
  • Jaringan Saraf Tiruan Konvolusional
  • Optimasi pelatihan

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related