Accumulation des gradients
term_id: gradient_accumulation
Category: training_techniques
Definition
Cette stratégie d’optimisation permet d’entraîner des modèles d’apprentissage profond avec des tailles de lot effectives supérieures à ce que la mémoire GPU peut contenir. En accumulant les gradients de plusieurs mini-lots et en effectuant une mise à jour des poids après plusieurs étapes.
Summary
L’accumulation des gradients est une technique qui simule des tailles de lot plus importantes en additionnant les gradients sur plusieurs passes avant et arrière avant de mettre à jour les poids.
Key Concepts
- Simulation de taille de lot
- Optimisation de la mémoire
- Descente de gradient stochastique
- Mise à jour des poids
Use Cases
- Affinement fin de grands modèles
- Entraînement avec une mémoire vidéo limitée
- Stabilisation de la convergence de la fonction de perte