Dimensiunea lotului
term_id: batch_size
Category: training_techniques
Definition
Dimensiunea lotului este un hiperparametru critic care determină câte mostre sunt procesate înainte ca parametrii interni ai modelului să fie actualizați. O dimensiune a lotului mai mare oferă o estimare mai precisă a gradientului, reducând zgomotul în timpul învățării, dar necesită mai multă memorie.
Summary
Numărul de exemple de antrenament utilizate într-o singură iterație a algoritmului de descendentă stochastică a gradientului.
Key Concepts
- Estimarea gradientului
- Restricții de memorie
- Stabilitatea convergenței
- Reglarea hiperparametrilor
Use Cases
- Reglarea vitezei de convergență a modelului
- Gestionarea limitelor de memorie GPU în timpul antrenamentului
- Îmbunătățirea generalizării prin gradienti zgomotoși