Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax wordt veelvuldig gebruikt in de uitvoerlaag van neurale netwerken voor meerclassificatietaken. Het neemt een vector van ruwe logit-waarden en normaliseert deze zodat elk element een waarschijnlijkheid vertegenwoordigt.

Summary

Een wiskundige functie die een vector van willekeurige reële scores omzet in een waarschijnlijkheidsverdeling.

Key Concepts

  • Waarschijnlijkheidsverdeling
  • Logits
  • Normalisatie
  • Meerclassificatie

Use Cases

  • Uitvoerlagen voor beeldclassificatie
  • Tokenvoorspelling in taalmodellen
  • Multilabel-categorisering

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related