Пакетная обработка
term_id: batch_processing
Category: engineering_practice
Definition
Пакетная обработка предполагает агрегацию входных данных в группу (пакет) перед выполнением вычислений или выводом модели. Этот подход контрастирует с обработкой потоковых данных в реальном времени, позволяя оптимизировать использование ресурсов за счет
Summary
Вычислительный метод, при котором данные собираются в течение определенного времени и обрабатываются группами, а не по отдельности.
Key Concepts
- Оптимизация пропускной способности
- Использование ресурсов
- Офлайн-вычисления
- Групповое выполнение
Use Cases
- Обучение крупных нейронных сетей на исторических наборах данных
- Запланированные ETL-задачи в хранилищах данных
- Ежедневная генерация отчетов