Restkoppling

term_id: residual_connection

Category: basic_concepts

Definition

Restkopplingar, även kända som skip-kopplingar, möjliggör att gradienter flödar genom ett nätverk genom att direkt addera en input till utgången från ett efterföljande lager. Denna arkitektur löser problemet med försvinnande gradienter.

Summary

En mekanism som lägger till input direkt till ett lags output för att underlätta gradientflödet i djupa nätverk.

Key Concepts

  • Skip-kopplingar
  • Problemet med försvinnande gradienter
  • Djupt residuellt lärande
  • Gradientflöde

Use Cases

  • Träning av djupa konvolutionella neurala nätverk
  • Transformerarkitekturer
  • Modeller för bildklassificering

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related