التطبيع الطبقي

term_id: layer_normalization

Category: basic_concepts

Definition

يساهم التطبيع الطبقي في استقرار التدريب من خلال تقليل الانزياح التبايني الداخلي، وهو فعال بشكل خاص في الهياكل المتكررة ومحولات الانتباه (Transformers). وعلى عكس التطبيع الدفعي الذي يعتمد على إحصائيات

Summary

تقنية تقوم بتطبيع تنشيطات طبقة الشبكة العصبية عبر بُعد الميزات لكل عينة فردية.

Key Concepts

  • التطبيع
  • الانزياح التبايني الداخلي
  • نماذج المحول (Transformers)
  • الشبكات العصبية المتكررة

Use Cases

  • تدريب نماذج المحول مثل BERT
  • استقرار تدريب الشبكات العصبية المتكررة/LSTM
  • التعلم العميق بأحجام دفعات صغيرة

Code Example

1
2

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

Related