ReLU

term_id: relu

Category: basic_concepts

Definition

ReLUは、計算効率が高く、勾配消失問題を緩和できるため、ディープラーニングニューラルネットワークで広く使用されています。数学的には f(x) = max(0, x) と定義され、非線形性を導入しながらも計算コストを抑えることができます。

Summary

ReLU（Rectified Linear Unit）は、入力が正の場合は入力をそのまま出力し、負の場合はゼロを出力する活性化関数です。

Key Concepts

  • 非線形性
  • 活性化関数
  • 勾配消失問題
  • 区間線形関数

Use Cases

  • CNNの隠れ層
  • ディープ順伝播ネットワーク
  • 画像認識モデル

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related