Taille du lot
term_id: batch_size
Category: training_techniques
Definition
La taille du lot est un hyperparamètre critique qui détermine combien d’échantillons sont traités avant la mise à jour des paramètres internes du modèle. Une taille de lot plus grande fournit une estimation plus précise du
Summary
Le nombre d’exemples d’entraînement utilisés lors d’une itération de l’algorithme de descente de gradient stochastique.
Key Concepts
- Estimation du gradient
- Contraintes mémoire
- Stabilité de la convergence
- Réglage des hyperparamètres
Use Cases
- Réglage de la vitesse de convergence du modèle
- Gestion des limites de mémoire GPU pendant l’entraînement
- Amélioration de la généralisation via des gradients bruités