Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax används flitigt i utgångslaget för neurala nätverk vid uppgifter med flera klasser. Den tar en vektor av råa logiter och normaliserar dem så att varje element representerar en sannolikhet.

Summary

En matematisk funktion som omvandlar en vektor av godtyckliga reella värden till en sannolikhetsfördelning.

Key Concepts

  • Sannolikhetsfördelning
  • Logiter
  • Normalisering
  • Flerklassklassificering

Use Cases

  • Utgångsskikt för bildklassificering
  • Tokenförutsägelse i språkmodeller
  • Kategorisering med flera etiketter

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related