Dimensione del batch
term_id: batch_size
Category: training_techniques
Definition
La dimensione del batch è un iperparametro critico che determina quanti campioni vengono elaborati prima che i parametri interni del modello vengano aggiornati. Una dimensione del batch più grande fornisce una stima più accurata del
Summary
Il numero di esempi di addestramento utilizzati in una singola iterazione dell’algoritmo di discesa del gradiente stocastica.
Key Concepts
- Stima del gradiente
- Vincoli di memoria
- Stabilità della convergenza
- Sintonizzazione degli iperparametri
Use Cases
- Regolazione della velocità di convergenza del modello
- Gestione dei limiti di memoria GPU durante l’addestramento
- Miglioramento della generalizzazione tramite gradienti rumorosi