Gradient Accumulation
term_id: gradient_accumulation
Category: training_techniques
Definition
Deze optimalisatiestrategie stelt diepe leermodellen in staat te trainen met effectieve batchgroottes die groter zijn dan wat in het GPU-geheugen past. Door gradients van meerdere mini-batches op te tellen en pas daarna de gewichten bij te werken…
Summary
Gradient accumulation is een techniek die grotere batchgroottes simuleert door gradients over meerdere forward/backward-passes op te tellen voordat gewichten worden bijgewerkt.
Key Concepts
- Batchgrootte-simulatie
- Geheugenoptimalisatie
- Stochastische gradientafdalingsmethode
- Gewichtsbijwerking
Use Cases
- Fine-tunen van grote modellen
- Trainen met beperkt VRAM
- Stabiliseren van verliesconvergentie