Connexion résiduelle

term_id: residual_connection

Category: basic_concepts

Definition

Les connexions résiduelles, également appelées connexions saut (skip connections), permettent aux gradients de circuler à travers un réseau en ajoutant directement une entrée à la sortie d’une couche ultérieure. Cette architecture résout le problème du gradient disparaissant (vanishing gradient problem) en préservant l’information tout au long du réseau.

Summary

Un mécanisme qui ajoute l’entrée directement à la sortie d’une couche pour faciliter le flux de gradient dans les réseaux profonds.

Key Concepts

  • Connexions saut
  • Problème du gradient disparaissant
  • Apprentissage résiduel profond
  • Flux de gradient

Use Cases

  • Entraînement de réseaux de neurones convolutifs profonds
  • Architectures de type Transformer
  • Modèles de classification d’images

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related