נרמול שכבתי

term_id: layer_normalization

Category: basic_concepts

Definition

נרמול שכבתי מייצב את האימון על ידי הפחתת ההיסט הקווריאטיבי הפנימי, במיוחד ביעילות בארכיטקטורות רקורסיביות ומתמרות. בניגוד לנרמול אצווה, התלות היא בסטטיסטיקות הדגימה הבודדת ולא באצווה.

Summary

טכניקה המנרמלת את הפעילויות של שכבה ברשת נוירונים לאורך ממד התכונות עבור כל דגימה בנפרד.

Key Concepts

  • נרמול
  • היסט קווריאטיבי פנימי
  • מודלי מתמר (Transformer)
  • RNNs

Use Cases

  • אימון מודלי מתמר כמו BERT
  • ייצוב אימון של RNN/LSTM
  • למידה עמוקה עם גודל אצווה קטן

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related