Gradyan Biriktirme
term_id: gradient_accumulation
Category: training_techniques
Definition
Bu optimizasyon stratejisi, derin öğrenme modellerinin GPU belleğine sığandan daha büyük etkili toplu boyutlarla eğitilmesine olanak tanır. Birkaç mini topluluktan gelen gradyanları biriktirip ardından ağırlık güncellemesi gerçekleştirerek çalışır.
Summary
Gradyan biriktirme, ağırlıklar güncellenmeden önce birden fazla ileri/geri yayılım üzerinden gradyanları toplayarak daha büyük toplu boyutları simüle eden bir tekniktir.
Key Concepts
- Toplu Boyut Simülasyonu
- Bellek Optimizasyonu
- Stokastik Gradyan İnişi
- Ağırlık Güncellemesi
Use Cases
- Büyük modellerin ince ayarı
- Sınırlı VRAM ile eğitim
- Kayıp yakınsamasının stabilizasyonu