Konvergensbrudd / Divergens
term_id: divergence
Category: basic_concepts
Definition
I optimeringssammenheng oppstår divergens når modellparametrene oppdateres på en måte som får tapet til å øke i stedet for å avta, ofte med NaN-verdier eller uendelige gradienter som følge.
Summary
Divergens refererer til svikt i en maskinlæringsalgoritmes tapfunksjon (loss function) i å avta under treningen, noe som resulterer i ustabil eller forverrende ytelse.
Key Concepts
- Tapseksplosjon
- Følsomhet for læringsrate
- Ustabilitet i gradienter
- Numerisk presisjon
Use Cases
- Feilsøking av treningsløkker i dype læringsrammeverk
- Finjustering av hyperparametere for stabil konvergens
- Implementering av strategier for gradientkapping (gradient clipping)