Gradientakkumulering
term_id: gradient_accumulation
Category: training_techniques
Definition
Denne optimaliseringsstrategien gjør det mulig å trene dype læringsmodeller med effektive batch-størrelser som er større enn hva som passer i GPU-minnet. Ved å akkumulere gradienter fra flere minibatcher og utføre oppdateringer etterpå.
Summary
Gradientakkumulering er en teknikk som simulerer større batch-størrelser ved å summere gradienter over flere fremover-/bakoverpasser før vektene oppdateres.
Key Concepts
- Simulering av batch-størrelse
- Minneoptimalisering
- Stokastisk gradientnedstigning
- Vektoppdatering
Use Cases
- Finjustering av store modeller
- Trening med begrenset VRAM
- Stabilisering av tapets konvergens