Gradient Accumulation
term_id: gradient_accumulation
Category: training_techniques
Definition
Denne optimeringsstrategie gør det muligt at træne dybe læringsmodeller med effektive batch-størrelser, der er større end det, der kan passe i GPU-hukommelsen. Ved at akkumulere gradienter fra flere mini-batches og derefter udføre vægtopdateringer.
Summary
Gradient accumulation er en teknik, der simulerer større batch-størrelser ved at summere gradienter over flere fremad-/bagudgående passager, før vægte opdateres.
Key Concepts
- Batch-størrelsesimulation
- Hukommelsesoptimering
- Stokastisk gradientnedstigning
- Vægtopdatering
Use Cases
- Finjustering af store modeller
- Træning på begrænset VRAM
- Stabilisering af tab-konvergens