Conexión Residual

term_id: residual_connection

Category: basic_concepts

Definition

Las conexiones residuales, también conocidas como conexiones de salto (skip connections), permiten que los gradientes fluyan a través de una red añadiendo directamente una entrada a la salida de una capa subsiguiente. Esta arquitectura resuelve el problema del desvanecimiento del gradiente.

Summary

Un mecanismo que añade la entrada directamente a la salida de una capa para facilitar el flujo de gradientes en redes profundas.

Key Concepts

  • Conexiones de Salto
  • Problema del Gradiente Desvanecido
  • Aprendizaje Profundo Residual
  • Flujo de Gradientes

Use Cases

  • Entrenamiento de redes neuronales convolucionales profundas
  • Arquitecturas Transformer
  • Modelos de clasificación de imágenes

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related