Connessione Residua

term_id: residual_connection

Category: basic_concepts

Definition

Le connessioni residuali, note anche come skip connection, permettono ai gradienti di fluire attraverso una rete aggiungendo direttamente un input all’output di un livello successivo. Questa architettura risolve il problema del vanishing gradient

Summary

Un meccanismo che aggiunge l’input direttamente all’output di un livello per facilitare il flusso del gradiente nelle reti profonde.

Key Concepts

  • Skip Connections
  • Problema del Vanishing Gradient
  • Deep Residual Learning
  • Flusso del Gradiente

Use Cases

  • Addestramento di reti neurali convoluzionali profonde
  • Architetture Transformer
  • Modelli di classificazione delle immagini

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related