Divergence
term_id: divergence
Category: basic_concepts
Definition
Dans le contexte de l’optimisation, la divergence se produit lorsque les paramètres du modèle sont mis à jour de manière à ce que la perte augmente au lieu de diminuer, conduisant souvent à des valeurs NaN (Not a Number) ou à des gradients infinis.
Summary
La divergence désigne l’échec de la fonction de perte d’un algorithme d’apprentissage automatique à diminuer pendant l’entraînement, entraînant des performances instables ou dégradées.
Key Concepts
- Explosion de la perte
- Sensibilité au taux d’apprentissage
- Instabilité des gradients
- Précision numérique
Use Cases
- Débogage des boucles d’entraînement dans les frameworks d’apprentissage profond
- Régler les hyperparamètres pour une convergence stable
- Mise en œuvre de stratégies de limitation des gradients (gradient clipping)