Divergens
term_id: divergence
Category: basic_concepts
Definition
Inom optimering uppstår divergens när modellparametrarna uppdateras på ett sätt som får förlusten att öka snarare än minska. Detta leder ofta till numerisk instabilitet, såsom NaN-värden (Not a Number) eller oändliga gradienter, vilket gör att modellen inte kan lära sig korrekta mönster.
Summary
Divergens avser misslyckandet hos en maskininlärningsalgoritms förlustfunktion att minska under träningen, vilket resulterar i instabil eller försämrad prestanda.
Key Concepts
- Förlustexplosion
- Känslighet för inlärningshastighet
- Gradientinstabilitet
- Numerisk precision
Use Cases
- Felsökning av träningslooper i djupinlärningsramverk
- Justering av hyperparametrar för stabil konvergens
- Implementering av strategier för gradientklippning