Residuele verbinding

term_id: residual_connection

Category: basic_concepts

Definition

Residuele verbindingen, ook wel skip-verbindingen genoemd, stellen gradients in staat door een netwerk te stromen door de invoer direct bij de uitvoer van een volgende laag op te tellen. Deze architectuur lost het probleem van verdwijnende gradients op.

Summary

Een mechanisme dat de invoer direct bij de uitvoer van een laag optelt om de gradientstroom in diepe netwerken te vergemakkelijken.

Key Concepts

  • Skip-verbindingen
  • Probleem van verdwijnende gradients
  • Diep residu-leren
  • Gradientstroom

Use Cases

  • Het trainen van diepe convolutionele neurale netwerken
  • Transformer-architecturen
  • Modellen voor beeldclassificatie

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related