Gradienttien kertyminen
term_id: gradient_accumulation
Category: training_techniques
Definition
Tämä optimointistrategia mahdollistaa syvien oppimismallien kouluttamisen tehollisilla eräko’oilla, jotka ovat suurempia kuin mitä GPU-muisti mahduttaa. Kertymällä useiden mini-eräjen gradientteja ja suorittamalla painopäivitys vasta niiden jälkeen…
Summary
Gradienttien kertyminen on tekniikka, joka simuloi suurempia eräkokoja laskemalla gradientteja useiden eteenpäin- ja taaksepäinsuuntausten aikana ennen painojen päivittämistä.
Key Concepts
- Eräkoon simulointi
- Muistin optimointi
- Stokastinen gradienttipudotus
- Painojen päivitys
Use Cases
- Suurten mallien hienosäätö
- Koulutus rajoitetulla VRAM-muistilla
- Häviön konvergenssin vakauttaminen