Batchstorlek
term_id: batch_size
Category: training_techniques
Definition
Batchstorleken är en kritisk hyperparameter som avgör hur många prover som bearbetas innan modellens interna parametrar uppdateras. En större batchstorlek ger en mer exakt uppskattning av den
Summary
Antalet träningsprover som används i en iteration av algoritmen för stokastisk gradientnedstigning.
Key Concepts
- Gradientuppskattning
- Minnesbegränsningar
- Konvergensstabilitet
- Justering av hyperparametrar
Use Cases
- Justering av modellkonvergensen hastighet
- Hantering av GPU-minnesgränser under träning
- Förbättrad generalisering via brusiga gradienter