Gradient Accumulation
term_id: gradient_accumulation
Category: training_techniques
Definition
Denna optimeringsstrategi gör det möjligt att träna djupinlärningsmodeller med effektiva batchstorlekar som är större än vad som får plats i GPU-minnet. Genom att ackumulera gradienter från flera minibatchar och utföra…
Summary
Gradient accumulation är en teknik som simulerar större batchstorlekar genom att summera gradienter över flera framåt-/bakåtgångar innan vikterna uppdateras.
Key Concepts
- Batchstorlekssimulering
- Minnesoptimering
- Stokastisk gradientnedgång
- Viktkorrigering
Use Cases
- Finjustering av stora modeller
- Träning med begränsat VRAM
- Stabilisering av förlustkonvergens