Функция активации

term_id: activation_function

Category: basic_concepts

Definition

Функция активации вносит нелинейность в нейронную сеть, позволяя ей изучать сложные закономерности и взаимосвязи в данных. Без этих функций многослойная сеть вела бы себя

Summary

Математическое уравнение, определяющее выходной сигнал узла нейронной сети на основе его входного сигнала.

Key Concepts

  • Нелинейность
  • Градиентный спуск
  • Активация нейрона
  • Обратное распространение ошибки

Use Cases

  • Обеспечение возможности классификации изображений глубокими нейронными сетями
  • Облегчение задач обработки естественного языка
  • Ускорение сходимости при обучении генеративных моделей

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related