Artımlı Bağlantı

term_id: residual_connection

Category: basic_concepts

Definition

Atlayıcı bağlantılar olarak da bilinen artımlı bağlantılar, bir girdiyi sonraki bir katmanın çıktısına doğrudan ekleyerek gradyanların ağ üzerinden akmasını sağlar. Bu mimari, kaybolan gradyan sorununu çözer.

Summary

Derin ağlarda gradyan akışını kolaylaştırmak için girdiyi doğrudan bir katmanın çıktısına ekleyen mekanizma.

Key Concepts

  • Atlayıcı Bağlantılar
  • Kayan Gradyan Sorunu
  • Derin Artımlı Öğrenme
  • Gradyan Akışı

Use Cases

  • Derin evrişimli sinir ağlarının eğitimi
  • Dönüştürücü mimarileri
  • Görüntü sınıflandırma modelleri

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related