Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax este utilizat pe scară largă în stratul de ieșire al rețelelor neuronale pentru sarcini de clasificare multi-clasă. Preia un vector de logaritmi brute (logits) și îi normalizează astfel încât fiecare element să reprezinte o probabilitate.

Summary

O funcție matematică care convertește un vector de scoruri reale arbitrare într-o distribuție de probabilitate.

Key Concepts

  • Distribuție de probabilitate
  • Logaritmi (Logits)
  • Normalizare
  • Clasificare multi-clasă

Use Cases

  • Straturi de ieșire pentru clasificarea imaginilor
  • Predicția tokenurilor în modelele lingvistice
  • Categorizarea multi-etichetă

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related