Divergentie
term_id: divergence
Category: basic_concepts
Definition
Divergentie verwijst naar het falen van de verliesfunctie (loss function) van een machine learning-algoritme om af te nemen tijdens het trainen, wat resulteert in instabiele of verslechterende prestaties.
Summary
Divergence refers to the failure of a machine learning algorithm’s loss function to decrease during training, resulting in unstable or worsening performance.
Key Concepts
- Verliesexplosie
- Gevoeligheid voor leersnelheid
- Instabiliteit van gradients
- Numerieke precisie
Use Cases
- Het debuggen van trainingslussen in diepe leerframeworks
- Het afstemmen van hyperparameters voor stabiele convergentie
- Het implementeren van strategieën voor gradient clipping