Maradványos kapcsolat

term_id: residual_connection

Category: basic_concepts

Definition

A maradványos kapcsolatok, más néven ugrókapcsolatok, lehetővé teszik a gradiens áramlását a hálózaton keresztül a bemenet közvetlen hozzáadásával egy későbbi réteg kimenetéhez. Ez az architektúra megoldja a eltűnő gradiens problémáját.

Summary

Egy mechanizmus, amely közvetlenül hozzáadja a bemenetet egy réteg kimenetéhez, hogy megkönnyítse a gradiens áramlását a mély hálózatokban.

Key Concepts

  • Ugrókapcsolatok
  • Eltűnő gradiens probléma
  • Mély maradványos tanulás
  • Gradiens áramlás

Use Cases

  • Mély konvolúciós neurális hálózatok tanítása
  • Transformer architektúrák
  • Képosztályozó modellek

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related