Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax je široce používán ve výstupní vrstvě neuronových sítí pro úlohy víceklasifikace. Přijímá vektor surových logitů a normalizuje je tak, že každý prvek představuje pravděpodobnost příslušnosti k dané třídě.

Summary

Matematická funkce, která převádí vektor libovolných reálných skóre na pravděpodobnostní rozdělení.

Key Concepts

  • Pravděpodobnostní rozdělení
  • Logity
  • Normalizace
  • Víceklasifikace

Use Cases

  • Výstupní vrstvy pro klasaci obrázků
  • Predikce tokenů v jazykových modelech
  • Kategorizace více štítků

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related