Průchodnost
term_id: throughput
Category: engineering_practice
Definition
V inženýrství AI je průchodnost kritickým metrikem výkonu indikujícím kapacitu systému. Často se měří v tokenech za sekundu pro velké jazykové modely (LLM), snímcích za sekundu pro modely počítačového vidění nebo dotazech…
Summary
Průchodnost měří množství dat nebo požadavků, které může systém AI úspěšně zpracovat v daném časovém úseku.
Key Concepts
- Metrika výkonu
- Škálovatelnost
- Dávkování
- Latence versus průchodnost
Use Cases
- Spuštění inferencí u LLM
- Zpracování videa v reálném čase
- Návrh API pro vysokou konkurenci