Softmax

term_id: softmax

Category: basic_concepts

Definition

Η Softmax χρησιμοποιείται ευρέως στο στρώμα εξόδου των νευρωνικών δικτύων για εργασίες ταξινόμησης πολλαπλών κλάσεων. Λαμβάνει ένα διάνυσμα ωμών λογίθ και τα κανονικοποιεί έτσι ώστε κάθε στοιχείο να αντιπροσωπεύει μια πιθανότητα.

Summary

Μια μαθηματική συνάρτηση που μετατρέπει ένα διάνυσμα πραγματικών τιμών σε κατανομή πιθανότητας.

Key Concepts

  • Κατανομή Πιθανότητας
  • Logits
  • Κανονικοποίηση
  • Ταξινόμηση Πολλαπλών Κλάσεων

Use Cases

  • Στρώματα εξόδου ταξινόμησης εικόνων
  • Πρόβλεψη tokens σε γλωσσικά μοντέλα
  • Ταξινόμηση πολλαπλών ετικετών

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related