Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax banyak digunakan pada lapisan output jaringan saraf untuk tugas klasifikasi multi-kelas. Fungsi ini mengambil vektor logit mentah dan menormalisasinya sehingga setiap elemen mewakili probabilitas.

Summary

Fungsi matematika yang mengubah vektor skor bernilai riil menjadi distribusi probabilitas.

Key Concepts

  • Distribusi Probabilitas
  • Logit
  • Normalisasi
  • Klasifikasi Multi-kelas

Use Cases

  • Lapisan output klasifikasi gambar
  • Prediksi token model bahasa
  • Kategorisasi multi-label

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related