Divergens
term_id: divergence
Category: basic_concepts
Definition
I optimeringssammenhæng opstår divergens, når modellens parametre opdateres på en måde, der får tabet til at stige i stedet for at falde, hvilket ofte fører til NaN-værdier (Not a Number) eller uendelige gradienter.
Summary
Divergens refererer til svigtet i en maskinlæringsalgoritmes tabfunktion (loss function) i at falde under træningen, hvilket resulterer i ustabil eller forværrende ydeevne.
Key Concepts
- Tab-eksplosion (Loss Explosion)
- Følsomhed over for læringsrate
- Gradientustabilitet
- Numerisk præcision
Use Cases
- Fejlfinding i træningsløkker i dybe læringsrammer
- Finjustering af hyperparametre for stabil konvergens
- Implementering af strategier til gradientklipning