נרמול אצווה

term_id: batch_normalization

Category: basic_concepts

Definition

שיטה זו מתאימה ומנרמלת את הפעלות הרשת כך שיהיו בעלות תוחלת אפס ושונות אחת בתוך כל מיני-אצווה במהלך האימון. היא מפחיתה את ההעתקה הקו-וריאנטית הפנימית, ומאפשרת קצבי למידה גבוהים יותר ואימון מהיר יותר.

Summary

נרמול אצווה הוא טכניקה המנרמלת את קלטים של שכבה לאורך מיני-אצווה (mini-batch) כדי ליצב ולהאיץ את אימון הרשת העצבית.

Key Concepts

  • העתקה קו-וריאנטית פנימית
  • סטטיסטיקות מיני-אצווה
  • ייצוב גרדיאנטים
  • אפקט רגולריזציה

Use Cases

  • רשתות עצביות עמוקות
  • רשתות עצביות קונבולוציוניות (CNN)
  • אופטימיזציה של אימון

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related