Aktivierungsfunktion

term_id: activation_function

Category: basic_concepts

Definition

Eine Aktivierungsfunktion führt Nichtlinearität in ein neuronales Netzwerk ein und ermöglicht es ihm, komplexe Muster und Beziehungen in Daten zu lernen. Ohne diese Funktionen würde ein mehrschichtiges Netzwerk sich verhalten…

Summary

Eine mathematische Gleichung, die basierend auf ihrem Eingangssignal die Ausgabe eines neuronalen Netzwerkknotens bestimmt.

Key Concepts

  • Nichtlinearität
  • Gradientenabstieg
  • Neuronenaktivierung
  • Backpropagation

Use Cases

  • Ermöglichung der Bildklassifizierung durch tiefe neuronale Netze
  • Erleichterung von Aufgaben im Bereich des Natural Language Processing (NLP)
  • Verbesserung der Konvergenzgeschwindigkeit beim Training generativer Modelle

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related