ReLU
term_id: relu
Category: basic_concepts
Definition
La ReLU est largement utilisée dans les réseaux neuronaux profonds en raison de son efficacité computationnelle et de sa capacité à atténuer le problème du gradient disparaissant. Définie mathématiquement par f(x) = max(0, x), elle introduit de la non-linéarité tout en restant simple à calculer.
Summary
L’unité linéaire rectifiée (ReLU) est une fonction d’activation qui renvoie l’entrée directement si elle est positive, sinon zéro.
Key Concepts
- Non-linéarité
- Fonction d’activation
- Gradient disparaissant
- Pièce linéaire
Use Cases
- Couches cachées dans les CNN
- Réseaux feedforward profonds
- Modèles de reconnaissance d’images
Code Example
| |