Gradient Accumulation
term_id: gradient_accumulation
Category: training_techniques
Definition
Questa strategia di ottimizzazione consente di addestrare modelli di deep learning con dimensioni effettive del batch superiori a quelle che possono essere memorizzate nella memoria della GPU. Accumulando i gradienti da diversi mini-batch ed eseguendo
Summary
L’accumulo dei gradienti è una tecnica che simula dimensioni del batch più grandi sommando i gradienti su più passaggi forward/backward prima di aggiornare i pesi.
Key Concepts
- Simulazione Dimensione Batch
- Ottimizzazione della Memoria
- Discesa del Gradiente Stocastica
- Aggiornamento dei Pesi
Use Cases
- Affinamento di modelli di grandi dimensioni
- Addestramento con VRAM limitata
- Stabilizzazione della convergenza della perdita