Batch-størrelse
term_id: batch_size
Category: training_techniques
Definition
Batch-størrelse er en kritisk hyperparameter som bestemmer hvor mange prøver som behandles før modellens interne parametere oppdateres. En større batch-størrelse gir et mer nøyaktig estimat av den
Summary
Antallet trenings eksempler som brukes i én iterasjon av algoritmen for stokastisk gradientnedstigning.
Key Concepts
- Gradientestimering
- Minnebegrensninger
- Konvergensstabilitet
- Finjustering av hyperparametere
Use Cases
- Finjustering av modellkonvergenshastighet
- Håndtering av GPU-minnegrenser under trening
- Forbedring av generalisering gjennom støyete gradienter