Połączenie rezydualne

term_id: residual_connection

Category: basic_concepts

Definition

Połączenia rezydualne, znane również jako połączenia pomijające (skip connections), umożliwiają przepływ gradientów przez sieć poprzez bezpośrednie dodanie wejścia do wyjścia kolejnej warstwy. Architektura ta rozwiązuje problem zanikania gradientu.

Summary

Mechanizm dodający wejście bezpośrednio do wyjścia warstwy, aby ułatwić przepływ gradientów w głębokich sieciach.

Key Concepts

  • Połączenia pomijające
  • Problem zanikania gradientu
  • Głębokie uczenie rezydualne
  • Przepływ gradientu

Use Cases

  • Trening głębokich konwolucyjnych sieci neuronowych
  • Architektury Transformer
  • Modele klasyfikacji obrazów

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related