活性化関数

term_id: activation_function

Category: basic_concepts

Definition

活性化関数はニューラルネットワークに非線形性をもたらし、複雑なパターンやデータ内の関係を学習可能にします。これらの関数がなければ、多層ネットワークは単なる線形変換として振る舞うことになります。

Summary

ニューラルネットワークのノードが入力信号に基づいて出力を決定するための数学的な方程式。

Key Concepts

  • 非線形性
  • 勾配降下法
  • ニューロン活性化
  • 逆伝播

Use Cases

  • ディープニューラルネットワークによる画像分類の実現
  • 自然言語処理タスクの促進
  • 生成モデルのトレーニングにおける収束速度の向上

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related