Xử lý theo lô
term_id: batch_processing
Category: engineering_practice
Definition
Xử lý theo lô liên quan đến việc tổng hợp các đầu vào dữ liệu thành một nhóm, hay còn gọi là lô, trước khi thực hiện tính toán hoặc suy luận mô hình. Cách tiếp cận này tương phản với xử lý luồng theo thời gian thực bằng cách cho phép tối ưu hóa thông lượng và hiệu quả sử dụng tài nguyên.
Summary
Một phương pháp tính toán trong đó dữ liệu được thu thập theo thời gian và xử lý theo từng nhóm thay vì từng cá thể riêng lẻ.
Key Concepts
- Tối ưu hóa thông lượng
- Sử dụng tài nguyên
- Tính toán ngoại tuyến
- Thực thi theo nhóm
Use Cases
- Huấn luyện mạng nơ-ron quy mô lớn trên tập dữ liệu lịch sử
- Các tác vụ ETL được lên lịch trong kho dữ liệu
- Tạo báo cáo định kỳ hàng đêm