סופטמקס

term_id: softmax

Category: basic_concepts

Definition

סופטמקס נפוץ מאוד בשכבה החיצונית של רשתות נוירונים למשימות מיון רב-מחלקתי. הפונקציה לוקחת וקטור של לוגיטים גולמיים ומנרמלת אותם כך שכל איבר מייצג הסתברות.

Summary

פונקציה מתמטית הממירה וקטור של ציונים ממשיים שרירותיים להתפלגות הסתברותית.

Key Concepts

  • התפלגות הסתברותית
  • לוגיטים
  • נרמול
  • מיון רב-מחלקתי

Use Cases

  • שכבות פלט במיון תמונות
  • חיזוי אסימונים במודלי שפה
  • סיווג רב-תוויתי

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related