ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU נפוץ מאוד ברשתות נוירונים ללמידה עמוקה בשל יעילותו החישובית והיכולת שלו להפחית את בעיית דעיכת הגרדיאנט. מוגדר מתמטית כ-f(x) = max(0, x), הוא מציג אי-ליניאריות פשוטה ויעילה.

Summary

יחידה ליניארית מתוקנת (Rectified Linear Unit) היא פונקציית הפעלה המפיקה את הקלט ישירות אם הוא חיובי, ואחרת מפיקה אפס.

Key Concepts

  • אי-ליניאריות
  • פונקציית הפעלה
  • דעיכת גרדיאנט
  • ליניאריות מקוטעת

Use Cases

  • שכבות נסתרות ברשתות קונבולוציוניות (CNNs)
  • רשתות הזנה קדימה עמוקות
  • מודלים לזיהוי תמונות

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related