Размер пакета
term_id: batch_size
Category: training_techniques
Definition
Размер пакета — это критический гиперпараметр, определяющий, сколько образцов обрабатывается перед обновлением внутренних параметров модели. Больший размер пакета дает более точную оценку
Summary
Количество примеров обучения, используемых за одну итерацию алгоритма стохастического градиентного спуска.
Key Concepts
- Оценка градиента
- Ограничения памяти
- Стабильность сходимости
- Настройка гиперпараметров
Use Cases
- Настройка скорости сходимости модели
- Управление ограничениями памяти GPU во время обучения
- Улучшение обобщающей способности за счет шумных градиентов