Softmax

Definition

Le Softmax est largement utilisé dans la couche de sortie des réseaux de neurones pour les tâches de classification multi-classe. Il prend un vecteur de logis bruts et les normalise afin que chaque élément représente une probabilité.

Summary

Une fonction mathématique qui convertit un vecteur de scores réels arbitraires en une distribution de probabilité.

Key Concepts

• Distribution de probabilité
• Logis
• Normalisation
• Classification multi-classe

Use Cases

• Couches de sortie de classification d’images
• Prédiction de tokens par les modèles de langage
• Catégorisation multi-étiquettes

Code Example

1
2
3
4
5

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

Related Terms

• Argmax (fonction renvoyant l’indice de la valeur maximale)
• Perte d’entropie croisée (mesure de différence entre deux distributions de probabilité)
• Logis (scores non normalisés avant activation)
• Réseau de neurones (modèle informatique inspiré du cerveau)