Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax è ampiamente utilizzato nello strato di output delle reti neurali per compiti di classificazione multiclasse. Prende un vettore di logit grezzi e li normalizza in modo che ogni elemento rappresenti una probabilità.

Summary

Una funzione matematica che converte un vettore di punteggi reali arbitrari in una distribuzione di probabilità.

Key Concepts

  • Distribuzione di Probabilità
  • Logit
  • Normalizzazione
  • Classificazione Multiclasse

Use Cases

  • Strati di output per la classificazione di immagini
  • Predizione dei token nei modelli linguistici
  • Categorizzazione multi-etichetta

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related