Batch-størrelse
term_id: batch_size
Category: training_techniques
Definition
Batch-størrelsen er en kritisk hyperparameter, der bestemmer, hvor mange stikprøver der behandles, før modellens interne parametre opdateres. En større batch-størrelse giver et mere nøjagtigt estimat af
Summary
Antallet af træningseksempler, der anvendes i én iteration af algoritmen til stokastisk gradientnedstigning.
Key Concepts
- Gradientestimering
- Hukommelsesbegrænsninger
- Konvergensstabilitet
- Indstilling af hyperparametre
Use Cases
- Indstilling af modellens konvergenshastighed
- Håndtering af GPU-hukommelsesgrænser under træning
- Forbedring af generalisering gennem støjende gradienter