Задержка (латентность)
term_id: latency
Category: engineering_practice
Definition
Задержка измеряет отзывчивость сервиса ИИ, обычно выражается в миллисекундах. Она включает время вывода модели (инференса), задержки передачи по сети и накладные расходы на обработку. Низкая задержка критически важна для приложений реального времени, таких как голосовые помощники или автономное вождение.
Summary
Временная задержка между инициированием запроса и началом получения ответа в системе ИИ.
Key Concepts
- Время инференса
- Время отклика
- Обработка в реальном времени
- Оптимизация
Use Cases
- Системы распознавания речи
- Управление автономными транспортными средствами
- Сервисы перевода в реальном времени