Akumulasi Gradien
term_id: gradient_accumulation
Category: training_techniques
Definition
Strategi optimisasi ini memungkinkan model pembelajaran mendalam dilatih dengan ukuran batch efektif yang lebih besar daripada kapasitas memori GPU. Dengan mengakumulasi gradien dari beberapa mini-batch dan melakukan pembaruan bobot secara berkala.
Summary
Akumulasi gradien adalah teknik yang mensimulasikan ukuran batch yang lebih besar dengan menjumlahkan gradien selama beberapa langkah maju/mundur sebelum memperbarui bobot.
Key Concepts
- Simulasi Ukuran Batch
- Optimisasi Memori
- Descent Gradien Stokastik
- Pembaruan Bobot
Use Cases
- Penyetelan halus model besar
- Pelatihan dengan VRAM terbatas
- Menstabilkan konvergensi kerugian