Jäännösyhteys

term_id: residual_connection

Category: basic_concepts

Definition

Jäännösyhteydet, joita kutsutaan myös ohitusyhteyksiksi, mahdollistavat gradienttien kulun verkon läpi lisäämällä syötteen suoraan seuraavan kerroksen lähtöön. Tämä arkkitehtuuri ratkaisee häviävän gradientin ongelman.

Summary

Mekanismi, joka lisää syötteen suoraan kerroksen lähtöön helpottaakseen gradienttien kulkua syvissä verkoissa.

Key Concepts

  • Ohitusyhteydet
  • Häviävän gradientin ongelma
  • Syvä jäännösoppiminen
  • Gradienttivirta

Use Cases

  • Syvien konvoluutioverkojen koulutus
  • Transformer-arkkitehtuurit
  • Kuvien luokittelumallit

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related