Độ trễ
term_id: latency
Category: engineering_practice
Definition
Độ trễ đo lường mức độ phản hồi nhanh chóng của dịch vụ AI, thường được biểu thị bằng mili giây. Nó bao gồm thời gian suy luận (inference), độ trễ truyền tải mạng và chi phí xử lý. Độ trễ thấp là yếu tố then chốt đối với các ứng dụng thời gian thực, nơi phản hồi tức thì là bắt buộc để đảm bảo trải nghiệm người dùng mượt mà và hiệu quả hoạt động.
Summary
Khoảng thời gian chờ đợi giữa lúc bắt đầu một yêu cầu và lúc phản hồi bắt đầu được xử lý trong một hệ thống AI.
Key Concepts
- Thời gian suy luận (Inference Time)
- Thời gian phản hồi (Response Time)
- Xử lý thời gian thực (Real-time Processing)
- Tối ưu hóa (Optimization)
Use Cases
- Hệ thống nhận diện giọng nói
- Điều khiển xe tự hành
- Dịch vụ dịch thuật trực tiếp