지연 시간 (Latency)
term_id: latency
Category: engineering_practice
Definition
지연 시간은 일반적으로 밀리초 단위로 표현되며, AI 서비스의 반응 속도를 측정합니다. 여기에는 추론 시간, 네트워크 전송 지연 및 처리 오버헤드가 포함됩니다. 낮은 지연 시간은 실시간 상호작용이 필요한 애플리케이션에서 사용자 경험에 직접적인 영향을 미치므로 매우 중요합니다.
Summary
AI 시스템에서 요청 시작부터 응답 시작까지의 시간 지연.
Key Concepts
- 추론 시간
- 응답 시간
- 실시간 처리
- 최적화
Use Cases
- 음성 인식 시스템
- 자율 주행 차량 제어
- 실시간 번역 서비스