Rétegnormalizálás

term_id: layer_normalization

Category: basic_concepts

Definition

A rétegnormalizálás stabilizálja a tanítást a belső kovariáns eltolódás csökkentésével, különösen hatékony rekurzív és transzformer architektúrákban. Ellentétben a kötegelt normalizálással (Batch Normalization), amely a köteg statisztikáitól függ, ez a módszer mintánként működik.

Summary

Egy technika, amely egy neurális hálózat rétegének aktivációit normalizálja a jellemzők mentén minden egyes egyedi minta esetén.

Key Concepts

  • Normalizálás
  • Belső kovariáns eltolódás
  • Transzformer modellek
  • Rekurzív neurális hálózatok (RNN)

Use Cases

  • Transzformer modellek, például a BERT képzése
  • RNN/LSTM képzés stabilizálása
  • Mélytanulás kis kötegméretekkel

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related