Acúmulo de Gradientes
term_id: gradient_accumulation
Category: training_techniques
Definition
Esta estratégia de otimização permite que modelos de aprendizado profundo sejam treinados com tamanhos de lote efetivos maiores do que o que cabe na memória da GPU. Ao acumular gradientes de vários mini-lotes e realizar a atualização dos pesos apenas após várias iterações, economiza-se memória.
Summary
O acúmulo de gradientes é uma técnica que simula tamanhos de lote maiores somando os gradientes ao longo de várias passagens forward/backward antes de atualizar os pesos.
Key Concepts
- Simulação de Tamanho de Lote
- Otimização de Memória
- Descida de Gradiente Estocástica
- Atualização de Pesos
Use Cases
- Ajuste fino de modelos grandes
- Treinamento com VRAM limitada
- Estabilização da convergência da perda