Hajonta
term_id: divergence
Category: basic_concepts
Definition
Optimoinnin kontekstissa hajonta tapahtuu, kun mallin parametrit päivittyvät tavalla, joka aiheuttaa häviön kasvamisen sen sijaan, että se vähenisi. Tämä johtaa usein NaN-arvoihin (numerot eivät ole lukuja) tai äärettömiin gradientteihin, mikä tekee mallin opettamisesta mahdotonta.
Summary
Hajonnalla viitataan koneoppimisalgoritmin häviöfunktion epäonnistumiseen pienentyessä harjoittelun aikana, mikä johtaa epävakaaseen tai heikkenevään suorituskykyyn.
Key Concepts
- Häviön räjähdys
- Oppimisnopeuden herkkyys
- Gradientin epävakaus
- Numeerinen tarkkuus
Use Cases
- Harjoittelusilmukoiden vianetsintä syvien oppimiskehyksissä
- Hyperparametrien säätäminen vakaata konvergenssia varten
- Gradienttileikkausstrategioiden toteuttaminen