延迟

term_id: latency

Category: engineering_practice

Definition

延迟衡量AI服务的响应速度，通常以毫秒为单位表示。它包括推理时间、网络传输延迟和处理开销。低延迟对于实时应用至关重要。

Summary

AI系统中请求发起与响应开始之间的时间延迟。

Key Concepts

  • 推理时间
  • 响应时间
  • 实时处理
  • 优化

Use Cases

  • 语音识别系统
  • 自动驾驶车辆控制
  • 实时翻译服务

Related