Acumulación de Gradientes
term_id: gradient_accumulation
Category: training_techniques
Definition
Esta estrategia de optimización permite entrenar modelos de aprendizaje profundo con tamaños de lote efectivos mayores a los que caben en la memoria de la GPU. Al acumular gradientes de varios minibatches y realizar actualizaciones de pesos menos frecuentes.
Summary
La acumulación de gradientes es una técnica que simula tamaños de lote más grandes sumando los gradientes durante varias pasadas hacia adelante y hacia atrás antes de actualizar los pesos.
Key Concepts
- Simulación del Tamaño del Lote
- Optimización de Memoria
- Descenso de Gradiente Estocástico
- Actualización de Pesos
Use Cases
- Ajuste fino de modelos grandes
- Entrenamiento con VRAM limitada
- Estabilización de la convergencia de la pérdida