Restforbindelse

term_id: residual_connection

Category: basic_concepts

Definition

Restforbindelser, også kjent som hoppforbindelser (skip connections), lar gradienter fly gjennom et nettverk ved å legge til en input direkte på utgangen av et påfølgende lag. Denne arkitekturen løser problemet med forsvinnende gradienter (vanishing gradient problem) og muliggjør trening av svært dype neurale nettverk.

Summary

En mekanisme som legger til input direkte på utgangen av et lag for å lette gradientflyt i dype nettverk.

Key Concepts

  • Hoppforbindelser
  • Problemet med forsvinnende gradienter
  • Dyp residuell læring
  • Gradientflyt

Use Cases

  • Trening av dype konvolusjonelle neurale nettverk
  • Transformer-arkitekturer
  • Modeller for bildeklassifisering

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related