Szétszóródás
term_id: divergence
Category: basic_concepts
Definition
Az optimalizálás kontextusában a szétszóródás akkor következik be, amikor a modell paraméterei úgy frissülnek, hogy a veszteség nő, ahelyett, hogy csökkenne, ami gyakran NaN értékekhez vagy végtelen gradienshez vezet.
Summary
A szétszóródás a gépi tanuló algoritmus veszteségfüggvényének csökkenésbe nem forduló viselkedését jelenti a tanítás során, ami instabil vagy romló teljesítményhez vezet.
Key Concepts
- Veszteség-robbanás
- Tanulási ráta érzékenysége
- Gradiens-instabilitás
- Numerikus pontosság
Use Cases
- Tanítási ciklusok hibakeresése mélytanulási keretrendszerekben
- Hipertparaméterek hangolása a stabil konvergencia érdekében
- Gradiens-vágási stratégiák implementálása