Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax jest szeroko stosowany w warstwie wyjściowej sieci neuronowych do zadań klasyfikacji wieloklasowej. Przyjmuje wektor surowych logitów i normalizuje je tak, aby każdy element reprezentował prawdopodobieństwo.

Summary

Funkcja matematyczna przekształcająca wektor dowolnych wartości rzeczywistych w rozkład prawdopodobieństwa.

Key Concepts

  • Rozkład prawdopodobieństwa
  • Logity
  • Normalizacja
  • Klasyfikacja wieloklasowa

Use Cases

  • Warstwy wyjściowe klasyfikacji obrazów
  • Przewidywanie tokenów w modelach językowych
  • Kategoryzacja wieloetykietkowa

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related