잔차 연결

term_id: residual_connection

Category: basic_concepts

Definition

스킵 연결(skip connections)이라고도 불리는 잔차 연결은 입력을 후속 레이어의 출력에 직접 추가하여 네트워크 전체에 걸쳐 기울기가 흐르도록 합니다. 이 아키텍처는 매우 깊은 네트워크에서 발생하는 기울기 소실 문제를 해결하고 학습을 용이하게 합니다.

Summary

깊은 네트워크에서 기울기 흐름을 원활하게 하기 위해 레이어의 출력에 입력을 직접 더하는 메커니즘입니다.

Key Concepts

  • 스킵 연결(Skip Connections)
  • 기울기 소실 문제
  • 심층 잔차 학습(Deep Residual Learning)
  • 기울기 흐름(Gradient Flow)

Use Cases

  • 심층 합성곱 신경망(CNN) 훈련
  • 트랜스포머 아키텍처
  • 이미지 분류 모델

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related