Débit
term_id: throughput
Category: engineering_practice
Definition
En ingénierie de l’IA, le débit est une métrique de performance critique indiquant la capacité du système. Il est souvent mesuré en tokens par seconde pour les LLM, en images par seconde pour les modèles de vision par ordinateur, ou en requêtes
Summary
Le débit mesure la quantité de données ou de requêtes qu’un système d’IA peut traiter avec succès dans un laps de temps donné.
Key Concepts
- Métrique de performance
- Évolutivité
- Regroupement (Batching)
- Latence vs Débit
Use Cases
- Inférence de LLM
- Traitement vidéo en temps réel
- Conception d’API à haute concurrence