ReLU

term_id: relu

Category: basic_concepts

Definition

يُستخدم ReReLU على نطاق واسع في الشبكات العصبية للتعلم العميق بسبب كفاءته الحسابية وقدرته على التخفيف من مشكلة تلاشي التدرج. مُعرّف رياضياً كـ f(x) = max(0, x)، فإنه يقدم عدم خطية بسيطة.

Summary

وحدة خطية مستقيمة (Rectified Linear Unit) هي دالة تنشيط تُخرج المدخلات مباشرة إذا كانت موجبة، وإلا فإنها تصفرها.

Key Concepts

  • عدم الخطية
  • دالة التنشيط
  • تلاشي التدرج
  • خطي جزئي

Use Cases

  • الطبقات المخفية في شبكات CNN
  • شبكات التغذية الأمامية العميقة
  • نماذج التعرف على الصور

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related