Doorvoer
term_id: throughput
Category: engineering_practice
Definition
In AI-engineering is doorvoer een cruciale prestatie-indicator die de systeemcapaciteit aangeeft. Het wordt vaak gemeten in tokens per seconde voor grote taalmodellen (LLM’s), afbeeldingen per seconde voor computer vision-modellen, of queries…
Summary
Doorvoer meet de hoeveelheid gegevens of verzoeken die een AI-systeem succesvol kan verwerken binnen een bepaalde tijdsperiode.
Key Concepts
- Prestatie-indicator
- Schaalbaarheid
- Batching (Groepsverwerking)
- Latentie versus doorvoer
Use Cases
- Inference-serving voor LLM’s
- Realtime videobewerking
- API-ontwerp met hoge gelijktijdigheid