Durchsatz
term_id: throughput
Category: engineering_practice
Definition
In der KI-Ingenieurkunst ist der Durchsatz eine kritische Leistungskennzahl, die die Systemkapazität angibt. Er wird oft in Tokens pro Sekunde für Large Language Models (LLMs), Bilder pro Sekunde für Computer-Vision-Modelle oder Abfragen pro Sekunde gemessen. Ein hoher Durchsatz ist entscheidend für die Skalierbarkeit von Diensten.
Summary
Der Durchsatz misst die Menge an Daten oder Anfragen, die ein KI-System innerhalb eines bestimmten Zeitraums erfolgreich verarbeiten kann.
Key Concepts
- Leistungskennzahl
- Skalierbarkeit
- Batching (Stapelverarbeitung)
- Latency vs. Throughput (Latenz vs. Durchsatz)
Use Cases
- Bereitstellung von LLM-Inferenzen
- Echtzeit-Videoverarbeitung
- Design von APIs mit hoher Nebenläufigkeit