Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax wird häufig in der Ausgabeschicht neuronaler Netze für Klassifizierungsaufgaben mit mehreren Klassen verwendet. Es nimmt einen Vektor von Roh-Werten (Logits) und normiert diese, sodass jedes Element eine Wahrscheinlichkeit darstellt.

Summary

Eine mathematische Funktion, die einen Vektor beliebiger reeller Werte in eine Wahrscheinlichkeitsverteilung umwandelt.

Key Concepts

  • Wahrscheinlichkeitsverteilung
  • Logits
  • Normierung
  • Multiklassen-Klassifizierung

Use Cases

  • Ausgabeschichten der Bildklassifizierung
  • Token-Vorhersage in Sprachmodellen
  • Multilabel-Kategorisierung

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related