ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU wird aufgrund seiner Recheneffizienz und seiner Fähigkeit, das Problem des verschwindenden Gradienten zu mildern, häufig in neuronalen Netzen des Deep Learning eingesetzt. Mathematisch definiert als f(x) = max(0, x), führt es Nichtlinearität in das Netzwerk ein, während es gleichzeitig die Berechnung vereinfacht.

Summary

Rectified Linear Unit ist eine Aktivierungsfunktion, die die Eingabe direkt ausgibt, wenn sie positiv ist, andernfalls null.

Key Concepts

  • Nichtlinearität
  • Aktivierungsfunktion
  • Verschwindender Gradient
  • Stückweise linear

Use Cases

  • Versteckte Schichten in CNNs
  • Tiefe Feedforward-Netzwerke
  • Modelle zur Bilderkennung

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related