Thông lượng
term_id: throughput
Category: engineering_practice
Definition
Trong kỹ thuật AI, thông lượng là một chỉ số hiệu suất quan trọng cho thấy khả năng của hệ thống. Nó thường được đo bằng token trên giây đối với LLM, hình ảnh trên giây đối với các mô hình thị giác máy tính, hoặc truy vấn…
Summary
Thông lượng đo lường lượng dữ liệu hoặc yêu cầu mà một hệ thống AI có thể xử lý thành công trong một khoảng thời gian nhất định.
Key Concepts
- Chỉ số hiệu suất
- Khả năng mở rộng
- Xử lý theo lô (Batching)
- Độ trễ so với thông lượng
Use Cases
- Phục vụ suy luận LLM
- Xử lý video thời gian thực
- Thiết kế API có độ đồng thời cao