Residualverbindung

term_id: residual_connection

Category: basic_concepts

Definition

Residualverbindungen, auch Skip-Connections genannt, ermöglichen den Fluss von Gradienten durch ein Netzwerk, indem sie eine Eingabe direkt zum Ausgang einer nachfolgenden Schicht addieren. Diese Architektur löst das Problem des verschwindenden Gradienten.

Summary

Ein Mechanismus, der die Eingabe direkt zum Ausgang einer Schicht addiert, um den Gradientenfluss in tiefen Netzwerken zu erleichtern.

Key Concepts

  • Skip-Verbindungen
  • Problem des verschwindenden Gradienten
  • Tiefes Residual-Lernen
  • Gradientenfluss

Use Cases

  • Training tiefer convolutional neural networks (CNNs)
  • Transformer-Architekturen
  • Bildklassifizierungsmodelle

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related