Batchgrootte
term_id: batch_size
Category: training_techniques
Definition
De batchgrootte is een kritieke hyperparameter die bepaalt hoeveel steekproeven worden verwerkt voordat de interne parameters van het model worden bijgewerkt. Een grotere batchgrootte geeft een nauwkeurigere schatting van de
Summary
Het aantal trainingsvoorbeelden dat in één iteratie van het stochastische gradientafval-algoritme wordt gebruikt.
Key Concepts
- Gradiëntschatting
- Geheugenbeperkingen
- Convergentiestabiliteit
- Hyperparameterafstelling
Use Cases
- Het afstellen van de convergentiesnelheid van modellen
- Het beheersen van GPU-geheugenlimieten tijdens het trainen
- Het verbeteren van generalisatie via ruwe gradiënten