Throughput
term_id: throughput
Category: engineering_practice
Definition
Na engenharia de IA, o throughput é uma métrica crítica de desempenho que indica a capacidade do sistema. Ele é frequentemente medido em tokens por segundo para Grandes Modelos de Linguagem (LLMs), imagens por segundo para modelos de visão computacional ou consultas por segundo para outros serviços.
Summary
O throughput mede a quantidade de dados ou solicitações que um sistema de IA pode processar com sucesso dentro de um determinado período de tempo.
Key Concepts
- Métrica de Desempenho
- Escalabilidade
- Agrupamento (Batching)
- Latência vs. Throughput
Use Cases
- Serviço de Inferência de LLMs
- Processamento de Vídeo em Tempo Real
- Design de APIs de Alta Concorrência