Rendimiento (Throughput)
term_id: throughput
Category: engineering_practice
Definition
En la ingeniería de IA, el rendimiento es una métrica de rendimiento crítica que indica la capacidad del sistema. A menudo se mide en tokens por segundo para LLMs, imágenes por segundo para modelos de visión por computadora o consultas por…
Summary
El rendimiento mide la cantidad de datos o solicitudes que un sistema de IA puede procesar correctamente dentro de un período de tiempo determinado.
Key Concepts
- Métrica de Rendimiento
- Escalabilidad
- Agrupación (Batching)
- Latencia vs. Rendimiento
Use Cases
- Servicio de Inferencia de LLMs
- Procesamiento de Video en Tiempo Real
- Diseño de APIs de Alta Concurrencia