Acumularea Gradientelor
term_id: gradient_accumulation
Category: training_techniques
Definition
Această strategie de optimizare permite antrenarea modelelor de învățare profundă cu dimensiuni efective ale loturilor mai mari decât ceea ce poate încăpea în memoria GPU. Prin acumularea gradientelor din mai multe mini-loturi și efectuarea actualizării…
Summary
Acumularea gradientelor este o tehnică care simulează dimensiuni mai mari ale loturilor (batch size) prin sumarea gradientelor pe parcursul mai multor treceri înainte/înapoi înainte de actualizarea ponderilor.
Key Concepts
- Simularea Dimensiunii Lotului
- Optimizarea Memoriei
- Descendența Stohastică a Gradientului
- Actualizarea Ponderilor
Use Cases
- Fine-tuning-ul modelelor mari
- Antrenarea pe VRAM limitat
- Stabilizarea convergenței funcției de pierdere