激活函数

term_id: activation_function

Category: basic_concepts

Definition

激活函数为神经网络引入非线性，使其能够学习数据中的复杂模式和关系。如果没有这些函数，多层网络的行为将退化为线性变换，无法处理复杂任务。

Summary

根据输入信号确定神经网络节点输出的数学方程。

Key Concepts

  • 非线性
  • 梯度下降
  • 神经元激活
  • 反向传播

Use Cases

  • 使深度神经网络能够进行图像分类
  • 促进自然语言处理任务
  • 提高生成模型训练时的收敛速度

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related