Batch normalizace

term_id: batch_normalization

Category: basic_concepts

Definition

Tato metoda upravuje a škáluje aktivace tak, aby měly nulovou střední hodnotu a jednotný rozptyl uvnitř každé minišarže během tréninku. Snižuje vnitřní kovariační posun, což umožňuje použití vyšších rychlostí učení a rychlejší konvergenci.

Summary

Batch normalizace je technika, která normalizuje vstupy vrstvy napříč minišarží za účelem stabilizace a zrychlení tréninku neuronových sítí.

Key Concepts

  • Vnitřní kovariační posun
  • Statistiky minišarže
  • Stabilizace gradientu
  • Efekt regularizace

Use Cases

  • Hluboké neuronové sítě
  • Konvoluční neuronové sítě
  • Optimalizace tréninku

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related