Softmax

term_id: softmax

Category: basic_concepts

Definition

Softmax широко используется в выходном слое нейронных сетей для задач многоклассовой классификации. Он принимает вектор необработанных логитов и нормализует их так, чтобы каждый элемент представлял собой вероятность принадлежности к соответствующему классу.

Summary

Математическая функция, преобразующая вектор произвольных вещественных значений в распределение вероятностей.

Key Concepts

  • Распределение вероятностей
  • Логиты
  • Нормализация
  • Многоклассовая классификация

Use Cases

  • Выходные слои классификации изображений
  • Предсказание токенов языковыми моделями
  • Многометочная категоризация

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related