Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax được sử dụng rộng rãi trong lớp đầu ra của mạng nơ-ron cho các tác vụ phân loại đa lớp. Nó nhận một vector các logit thô và chuẩn hóa chúng sao cho mỗi phần tử đại diện cho một xác suất có thể xảy ra.

Summary

Một hàm toán học chuyển đổi một vector các điểm số thực trị tùy ý thành một phân phối xác suất.

Key Concepts

  • Phân phối xác suất
  • Logits
  • Chuẩn hóa
  • Phân loại đa lớp

Use Cases

  • Lớp đầu ra phân loại ảnh
  • Dự đoán token trong mô hình ngôn ngữ
  • Phân loại đa nhãn

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related