Residual Connection

term_id: residual_connection

Category: basic_concepts

Definition

Residual connections, også kendt som skip connections, tillader gradienter at flyde gennem et netværk ved direkte at tilføje et input til outputtet af et efterfølgende lag. Denne arkitektur løser problemet med forsvindende gradienter (vanishing gradient problem).

Summary

En mekanisme, der tilføjer input direkte til et lags output for at facilitere gradientflow i dybe netværk.

Key Concepts

  • Skip Connections
  • Vandrende Gradient Problem
  • Dybt Residual Læring
  • Gradient Flow

Use Cases

  • Træning af dybe konvolutionelle neurale netværk
  • Transformer-arkitekturer
  • Billedklassificeringsmodeller

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related