Reziduální připojení

term_id: residual_connection

Category: basic_concepts

Definition

Reziduální připojení, známá také jako přeskoková připojení (skip connections), umožňují tok gradientů sítí tím, že přímo přičítají vstup k výstupu následné vrstvy. Tato architektura řeší problém mizejících gradientů tím, že zajišťuje přímou cestu pro backpropagaci, což umožňuje efektivní trénink velmi hlubokých neuronových sítí.

Summary

Mechanismus, který přímo přičítá vstup k výstupu vrstvy, aby usnadnil tok gradientů v hlubokých sítích.

Key Concepts

  • Přeskoková připojení
  • Problém mizejících gradientů
  • Hluboké reziduální učení
  • Tok gradientů

Use Cases

  • Trénink hlubokých konvolučních neuronových sítí
  • Architektury transformerů
  • Modely pro klasizaci obrázků

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related