Katman Normalizasyonu

term_id: layer_normalization

Category: basic_concepts

Definition

Katman Normalizasyonu, iç kovaryans kaymasını azaltarak eğitimi stabilize eder; özellikle tekrarlayan ve dönüştürücü (transformer) mimarilerde etkilidir. Toplu Normalizasyondan farklı olarak, parti istatistiklerine bağımlı değildir.

Summary

Her bir örnek için, sinir ağı katmanının aktivasyonlarını özellik boyutu boyunca normalize eden bir teknik.

Key Concepts

  • Normalizasyon
  • İç Kovaryans Kayması
  • Dönüştürücü Modeller
  • Tekrarlayan Sinir Ağları (RNN)

Use Cases

  • BERT gibi Dönüştürücü modellerin eğitimi
  • RNN/LSTM eğitimini stabilize etme
  • Küçük parti boyutlarıyla derin öğrenme

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related