Normalisasi Lapisan

term_id: layer_normalization

Category: basic_concepts

Definition

Normalisasi Lapisan menstabilkan pelatihan dengan mengurangi pergeseran kovariat internal, khususnya efektif dalam arsitektur rekuren dan transformer. Berbeda dengan Normalisasi Batch yang bergantung pada statistik batch, normalisasi ini dihitung per sampel.

Summary

Sebuah teknik yang menormalisasi aktivasi lapisan jaringan saraf melintasi dimensi fitur untuk setiap sampel individu.

Key Concepts

  • Normalisasi
  • Pergeseran Kovariat Internal
  • Model Transformer
  • RNN

Use Cases

  • Melatih model Transformer seperti BERT
  • Menstabilkan pelatihan RNN/LSTM
  • Pembelajaran mendalam dengan ukuran batch kecil

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related