Koneksi Residual

term_id: residual_connection

Category: basic_concepts

Definition

Koneksi residual, juga dikenal sebagai koneksi skip, memungkinkan gradien mengalir melalui jaringan dengan menambahkan input secara langsung ke output lapisan berikutnya. Arsitektur ini menyelesaikan masalah gradien menghilang (vanishing gradient) pada jaringan yang sangat dalam.

Summary

Mekanisme yang menambahkan input secara langsung ke output lapisan untuk memfasilitasi aliran gradien dalam jaringan yang dalam.

Key Concepts

  • Koneksi Skip
  • Masalah Gradien Menghilang
  • Pembelajaran Residual Dalam
  • Aliran Gradien

Use Cases

  • Melatih jaringan saraf konvolusional yang dalam
  • Arsitektur Transformer
  • Model klasifikasi gambar

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related