Пропускная способность
term_id: throughput
Category: engineering_practice
Definition
В инженерии ИИ пропускная способность является критическим показателем производительности, указывающим на емкость системы. Она часто измеряется в токенах в секунду для больших языковых моделей, изображениях в секунду для моделей компьютерного зрения или запросах в секунду для API.
Summary
Пропускная способность измеряет объем данных или запросов, которые система ИИ может успешно обработать за определенное время.
Key Concepts
- Метрика производительности
- Масштабируемость
- Пакетная обработка
- Задержка против пропускной способности
Use Cases
- Сервинг инференса больших языковых моделей
- Обработка видео в реальном времени
- Проектирование API с высокой конкурентностью