批处理

term_id: batch_processing

Category: engineering_practice

Definition

批处理涉及在执行计算或模型推理之前,将数据输入聚合为一个组(即批次)。与实时流处理相比,这种方法允许对数据进行批量操作,从而提高效率。

Summary

一种计算方法,数据随时间收集并以组(而非单个)为单位进行处理。

Key Concepts

  • 吞吐量优化
  • 资源利用率
  • 离线计算
  • 分组执行

Use Cases

  • 在历史数据集上训练大型神经网络
  • 数据仓库中的计划ETL作业
  • 夜间报告生成