Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmaxia käytetään laajasti moniluokkaiseen luokitteluun tarkoitettujen neuroverkkojen ulostulokerroksessa. Se ottaa raakojen logit-arvojen vektorin ja normalisoi ne siten, että kukin alkio edustaa todennäköisyyttä.

Summary

Matemaattinen funktio, joka muuntaa mielivaltaisten reaalilukuarvojen vektorin todennäköisyysjakaumaksi.

Key Concepts

  • Todennäköisyysjakauma
  • Logitit
  • Normalisointi
  • Moniluokkainen luokittelu

Use Cases

  • Kuvien luokittelun ulostulokerrokset
  • Kieliomallien token-ennusteet
  • Monilabeliluokitus

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related