Przetwarzanie wsadowe
term_id: batch_processing
Category: engineering_practice
Definition
Przetwarzanie wsadowe polega na agregacji wejściowych danych do grupy, czyli partii, przed wykonaniem obliczeń lub wnioskowania modelu. Podejście to kontrastuje z przetwarzaniem strumieniowym w czasie rzeczywistym, umożliwiając
Summary
Metoda obliczeniowa, w której dane są gromadzone w czasie i przetwarzane grupami, a nie indywidualnie.
Key Concepts
- Optymalizacja przepustowości
- Wykorzystanie zasobów
- Obliczenia offline
- Wykonanie grupowe
Use Cases
- Szkolenie dużych sieci neuronowych na historycznych zbiorach danych
- Zaplanowane zadania ETL w magazynach danych
- Generowanie raportów w nocy