Rozmiar partii
term_id: batch_size
Category: training_techniques
Definition
Rozmiar partii jest krytycznym hiperparametrem, który określa, ile próbek jest przetwarzanych przed aktualizacją wewnętrznych parametrów modelu. Większy rozmiar partii dostarcza bardziej dokładnej estymacji
Summary
Liczba przykładów treningowych wykorzystywanych w jednej iteracji algorytmu stochastycznego spadku gradientu.
Key Concepts
- Estymacja gradientu
- Ograniczenia pamięci
- Stabilność zbieżności
- Dopasowywanie hiperparametrów
Use Cases
- Dostosowywanie szybkości zbieżności modelu
- Zarządzanie limitami pamięci GPU podczas szkolenia
- Poprawa uogólniania poprzez szumne gradienty