Paketin koko
term_id: batch_size
Category: training_techniques
Definition
Paketin koko on kriittinen hyperparametri, joka määrittää, kuinka monta näytettä käsitellään ennen mallin sisäisten parametrien päivittämistä. Suurempi paketin koko tarjoaa tarkemman arvion gradientista, mutta vaatii enemmän muistia.
Summary
Stokastisen gradienttinalgoritmin yhden iteraation aikana käytettyjen koulutusyksiköiden määrä.
Key Concepts
- Gradientin estimointi
- Muistirajoitteet
- Konvergenssin vakaus
- Hyperparametrien säätö
Use Cases
- Mallin konvergenssinopeuden säätäminen
- GPU-muistin rajojen hallinta koulutuksen aikana
- Yleistymisen parantaminen kohinaisten gradienttien kautta