Akumulace gradientů
term_id: gradient_accumulation
Category: training_techniques
Definition
Tato optimalizační strategie umožňuje trénovat hluboké učebné modely s efektivními velikostmi batchů, které jsou větší než to, co se vejde do paměti GPU. Akumulací gradientů z několika mini-batchů a následnou aktualizací vah se dosahuje stability tréninku při omezených hardwarových zdrojích.
Summary
Akumulace gradientů je technika, která simuluje větší velikosti batchů sčítáním gradientů přes více průchodů vpřed a vzad před aktualizací vah.
Key Concepts
- Simulace velikosti batchu
- Optimalizace paměti
- Stochastický sestupný gradient
- Aktualizace vah
Use Cases
- Doladování velkých modelů
- Trénování na zařízeních s omezenou VRAM
- Stabilizace konvergence ztráty