Élagage (Clipping)
term_id: clip
Category: engineering_practice
Definition
En ingénierie de l’apprentissage profond, l’élagage est couramment appliqué aux gradients pour atténuer le problème des gradients explosifs, garantissant ainsi une rétropropagation stable. Il peut également faire référence à la limitation des logits de sortie avant
Summary
L’élagage est une technique utilisée pour limiter l’amplitude des valeurs, telles que les gradients ou les probabilités de sortie, afin d’éviter l’instabilité numérique pendant l’entraînement.
Key Concepts
- Élagage des gradients
- Stabilité numérique
- Gradients explosifs
- Régularisation
Use Cases
- Entraînement de réseaux neuronaux récurrents
- Stabilisation de l’entraînement des transformateurs
- Prévention de la divergence de la fonction de perte