Przepustowość
term_id: throughput
Category: engineering_practice
Definition
W inżynierii AI przepustowość jest kluczowym metryką wydajności wskazującą na pojemność systemu. Często mierzona w tokenach na sekundę dla dużych modeli językowych (LLM), obrazach na sekundę dla modeli wizji komputerowej lub zapytaniach…
Summary
Przepustowość mierzy ilość danych lub żądań, które system AI może pomyślnie przetworzyć w określonym czasie.
Key Concepts
- Metryka wydajności
- Skalowalność
- Grupowanie (Batching)
- Opóźnienie vs. Przepustowość
Use Cases
- Serwowanie wnioskowania w LLM
- Przetwarzanie wideo w czasie rzeczywistym
- Projektowanie API o wysokiej konkurencji