Fonction d'activation

term_id: activation_function

Category: basic_concepts

Definition

Une fonction d’activation introduit une non-linéarité dans un réseau neuronal, lui permettant d’apprendre des motifs et des relations complexes au sein des données. Sans ces fonctions, un réseau multicouche se comporterait…

Summary

Une équation mathématique qui détermine la sortie d’un nœud de réseau neuronal en fonction de son signal d’entrée.

Key Concepts

  • Non-linéarité
  • Descente de gradient
  • Activation neuronale
  • Rétropropagation

Use Cases

  • Permettre aux réseaux neuronaux profonds de classifier des images
  • Faciliter les tâches de traitement du langage naturel
  • Améliorer la vitesse de convergence lors de l’entraînement de modèles génératifs

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related