Накопление градиентов
term_id: gradient_accumulation
Category: training_techniques
Definition
Эта стратегия оптимизации позволяет обучать модели глубокого обучения с эффективными размерами батча, превышающими объем памяти GPU. За счет накопления градиентов от нескольких мини-батчей и последующего обновления весов можно обойти ограничения аппаратной памяти.
Summary
Накопление градиентов — это техника, имитирующая большие размеры батча путем суммирования градиентов по нескольким прямым и обратным проходам перед обновлением весов.
Key Concepts
- Имитация размера батча
- Оптимизация памяти
- Стохастический градиентный спуск
- Обновление весов
Use Cases
- Дообучение (fine-tuning) больших моделей
- Обучение при ограниченном объеме видеопамяти (VRAM)
- Стабилизация сходимости функции потерь