Conexiune Reziduală

term_id: residual_connection

Category: basic_concepts

Definition

Conexiunile reziduale, cunoscute și sub denumirea de conexiuni skip (de ocolire), permit gradientilor să curgă printr-o rețea prin adăugarea directă a unei intrări la ieșirea unui strat ulterior. Această arhitectură rezolvă problema dispariției gradientului.

Summary

Un mecanism care adaugă intrarea direct la ieșirea unui strat pentru a facilita fluxul gradientului în rețelele profunde.

Key Concepts

  • Conexiuni Skip
  • Problema Dispariției Gradientului
  • Învățare Reziduală Profundă
  • Fluxul Gradientului

Use Cases

  • Antrenarea rețelelor neuronale convoluționale profunde
  • Arhitecturi Transformer
  • Modele de clasificare a imaginilor

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related