Gradiensakkumuláció
term_id: gradient_accumulation
Category: training_techniques
Definition
Ez az optimalizálási stratégia lehetővé teszi, hogy a mélytanulási modelleket hatékonyabb kötegmérettel tréningeljék, mint amekkora a GPU memóriájába beférne. Több mini-köteg gradiensének összegzése és utólagos frissítés révén.
Summary
A gradiensakkumuláció egy technika, amely több előre- és hátrafelé irányuló lépés során összegzett gradienssel szimulálja a nagyobb kötegméreteket a súlyok frissítése előtt.
Key Concepts
- Kötegméret-szimuláció
- Memóriaoptimalizálás
- Sztochasztikus gradiensleszállás
- Súlyfrissítés
Use Cases
- Nagy modellek finomhangolása
- Tréning korlátozott VRAM mellett
- Veszteségkonvergencia stabilizálása