Остаточное соединение

term_id: residual_connection

Category: basic_concepts

Definition

Остаточные соединения, также известные как skip-connections (пропускные связи), позволяют градиентам проходить через сеть путем прямого сложения входа с выходом последующего слоя. Эта архитектура решает проблему затухания градиентов, обеспечивая эффективное обучение очень глубоких моделей.

Summary

Механизм, который напрямую добавляет входные данные к выходу слоя для улучшения потока градиентов в глубоких сетях.

Key Concepts

  • Пропускные связи (Skip Connections)
  • Проблема затухающего градиента (Vanishing Gradient Problem)
  • Глубокое остаточное обучение (Deep Residual Learning)
  • Поток градиентов (Gradient Flow)

Use Cases

  • Обучение глубоких сверточных нейронных сетей
  • Архитектуры трансформеров
  • Модели классификации изображений

Code Example

1
2
3
4
5
6
7

import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)

Related