Conexão Residual

term_id: residual_connection

Category: basic_concepts

Definition

As conexões residuais, também conhecidas como conexões de salto (skip connections), permitem que os gradientes fluam através da rede ao adicionar diretamente uma entrada à saída de uma camada subsequente. Essa arquitetura resolve o problema do gradiente desaparecente, possibilitando o treinamento de redes extremamente profundas.

Summary

Um mecanismo que adiciona a entrada diretamente à saída de uma camada para facilitar o fluxo de gradiente em redes profundas.

Key Concepts

  • Conexões de Salto
  • Problema do Gradiente Desaparecente
  • Aprendizado Residual Profundo
  • Fluxo de Gradiente

Use Cases

  • Treinamento de redes neurais convolucionais profundas
  • Arquiteturas de Transformers
  • Modelos de classificação de imagens

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related