רשת קדימה

term_id: feed_forward_network

Category: basic_concepts

Definition

רשתות קדימה (FFN), הידועות גם כמפרקים רב-שכבתיים (MLP), מעבדות נתונים ברצף דרך שכבות של נוירונים מהקלט לפלט ללא לולאות משוב. כל נוירון מקבל קלטים, מחשב סכום משוקלל שלהם, ומפעיל עליהם פונקציית אקטיבציה לפני העברת הפלט לשכבה הבאה. ארכיטקטורה זו מהווה את הבסיס הרב-תכליתי ביותר לרשתות נוירונים עמוקות.

Summary

סוג של רשת נוירונים מלאכותית שבה החיבורים בין הצמתים אינם יוצרים מעגלים, והמידע מועבר בכיוון אחד בלבד.

Key Concepts

  • ללא מעגלים
  • שכבות (קלט, נסתר, פלט)
  • פונקציות אקטיבציה
  • סכומים משוקללים

Use Cases

  • משימות רגרסיה פשוטות
  • בעיות מיון עם נתונים טבלאיים
  • אבני בניין לארכיטקטורות עמוקות יותר

Code Example

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import torch.nn as nn

class SimpleFFN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleFFN, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        return x

Related