ソフトマックス

term_id: softmax

Category: basic_concepts

Definition

ソフトマックスは、多クラス分類タスクにおけるニューラルネットワークの出力層で広く使用されています。これは生のロジット（logits）ベクトルを入力として受け取り、正規化を行うことで、各要素が確率を表すようにします。

Summary

任意の実数値のスコアベクトルを確率分布に変換する数学関数。

Key Concepts

  • 確率分布
  • ロジット
  • 正規化
  • 多クラス分類

Use Cases

  • 画像分類の出力層
  • 言語モデルのトークン予測
  • マルチラベル分類

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related