Velikost dávky
term_id: batch_size
Category: training_techniques
Definition
Velikost dávky je kritickým hyperparametrem, který určuje, kolik vzorků je zpracováno před aktualizací interních parametrů modelu. Větší velikost dávky poskytuje přesnější odhad
Summary
Počet tréninkových příkladů použitých v jedné iteraci algoritmu stochastického gradientního sestupu.
Key Concepts
- Odhad gradientu
- Paměťová omezení
- Stabilita konvergence
- Ladění hyperparametrů
Use Cases
- Ladění rychlosti konvergence modelu
- Správa limitů paměti GPU během tréninku
- Zlepšení zobecnění prostřednictvím šumových gradientů