Tamaño del lote
term_id: batch_size
Category: training_techniques
Definition
El tamaño del lote es un hiperparámetro crítico que determina cuántas muestras se procesan antes de actualizar los parámetros internos del modelo. Un tamaño de lote más grande proporciona una estimación más precisa de la
Summary
El número de ejemplos de entrenamiento utilizados en una iteración del algoritmo de descenso de gradiente estocástico.
Key Concepts
- Estimación del gradiente
- Restricciones de memoria
- Estabilidad de la convergencia
- Ajuste de hiperparámetros
Use Cases
- Ajustar la velocidad de convergencia del modelo
- Gestionar los límites de memoria de la GPU durante el entrenamiento
- Mejorar la generalización mediante gradientes ruidosos