Υπολειπόμενη Σύνδεση

term_id: residual_connection

Category: basic_concepts

Definition

Οι υπολειπόμενες συνδέσεις, γνωστές επίσης ως skip connections, επιτρέπουν στις κλίμακες να ρέουν μέσω ενός δικτύου προσθέτοντας απευθείας μια είσοδο στην έξοδο ενός επόμενου στρώματος. Αυτή η αρχιτεκτονική λύνει το πρόβλημα της εξαφάνισης των κλιμάκων.

Summary

Ένας μηχανισμός που προσθέτει την είσοδο απευθείας στην έξοδο ενός στρώματος για να διευκολύνει τη ροή των κλιμάκων σε βαθιά δίκτυα.

Key Concepts

  • Skip Connections
  • Πρόβλημα Εξαφάνισης Κλιμάκων
  • Βαθιά Υπολειπόμενη Μάθηση
  • Ροή Κλιμάκων

Use Cases

  • Εκπαίδευση βαθιών δικτύων νευρωνικών κυψελίδων
  • Αρχιτεκτονικές Transformer
  • Μοντέλα ταξινόμησης εικόνας

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related