חיבור שאריתי

term_id: residual_connection

Category: basic_concepts

Definition

חיבורים שאריתיים, הידועים גם כחיבורי דילוג (Skip Connections), מאפשרים לגרדיאנטים לזרום דרך הרשת על ידי הוספה ישירה של הקלט לפלט של שכבה עוקבת. ארכיטקטורה זו פותרת את בעיית התדרדות הגרדיאנטים (Vanishing Gradient) ומאפשרת אימון של רשתות עמוקות מאוד.

Summary

מנגנון המוסיף את הקלט ישירות לפלט של שכבה כדי לאפשר זרימת גרדיאנטים ברשתות עמוקות.

Key Concepts

  • חיבורי דילוג
  • בעיית התדרדות הגרדיאנטים
  • למידה שאריתית עמוקה
  • זרימת גרדיאנטים

Use Cases

  • אימון רשתות נוירונים קונבולוציוניות עמוקות
  • ארכיטקטורות טרנספורמר
  • מודלים לסיווג תמונות

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related