التطبيع الدفعي

term_id: batch_normalization

Category: basic_concepts

Definition

تقوم هذه الطريقة بضبط وتقييس التنشيطات لتكون ذات متوسط صفر وتباين وحدة ضمن كل دفعة صغيرة أثناء التدريب. يقلل ذلك من الانزياح التوزيعي الداخلي، مما يسمح بمعدلات تعلم أعلى وتدريب أسرع.

Summary

التطبيع الدفعي هو تقنية تُطبع فيها مدخلات الطبقة عبر دفعة صغيرة لتثبيت وتسريع تدريب الشبكة العصبية.

Key Concepts

  • الانزياح التوزيعي الداخلي
  • إحصائيات الدفعة الصغيرة
  • تثبيت التدرج
  • تأثير التنظيم

Use Cases

  • الشبكات العصبية العميقة
  • الشبكات العصبية التلافيفية
  • تحسين التدريب

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related