Gjennomstrømning
term_id: throughput
Category: engineering_practice
Definition
Ingeniørmessig gjennomstrømning er en kritisk ytelsesmåling som indikerer systemkapasitet. Den måles ofte i tokens per sekund for store språkmodeller (LLMs), bilder per sekund for datamaskinse-modeller, eller spørringer per sekund…
Summary
Gjennomstrømning måler mengden data eller forespørsler et AI-system kan behandle vellykket innenfor en gitt tidsramme.
Key Concepts
- Ytelsesmåling
- Skalerbarhet
- Batch-prosessering
- Latens vs. gjennomstrømning
Use Cases
- Inferens-servering for LLMs
- Sanntids videobehandling
- Høykonkurrerende API-design