פונקציית הפעלה

term_id: activation_function

Category: basic_concepts

Definition

פונקציית ההפעלה מחדירה אי-ליניאריות לרשת נוירונים, ומאפשרת לה ללמוד דפוסים וקשרים מורכבים בתוך הנתונים. ללא פונקציות אלו, רשת רב-שכבתית הייתה מתנהגת…

Summary

משוואה מתמטית הקובעת את פלטו של צומת ברשת נוירונים בהתבסס על אות הקלט שלו.

Key Concepts

אי-ליניאריות
ירידה במדרון הגרדיאנט
הפעלת נוירון
התפשטות לאחור

Use Cases

אפשרות לסיווג תמונות ברשתות נוירונים עמוקות
הקלה במשימות עיבוד שפה טבעית
שיפור מהירות ההתכנסות באימון מודלים יצירתיים

Code Example

1
2
3
import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)