Giới hạn tốc độ

term_id: rate_limiting

Category: engineering_practice

Definition

Giới hạn tốc độ bảo vệ các dịch vụ AI và API khỏi việc lạm dụng, quá tải và tiêu thụ tài nguyên quá mức. Nó đảm bảo việc sử dụng công bằng giữa các người dùng và duy trì sự ổn định của hệ thống bằng cách giới hạn thông lượng. Các chiến lược phổ biến bao gồm…

Summary

Cơ chế kiểm soát kỹ thuật hạn chế số lượng yêu cầu mà một khách hàng có thể gửi đến một dịch vụ trong một khoảng thời gian cụ thể.

Key Concepts

  • Bảo vệ API
  • Kiểm soát thông lượng
  • Chính sách sử dụng công bằng
  • Ổn định hệ thống

Use Cases

  • Quản lý cổng API cho LLM
  • Ngăn chặn tấn công DDoS
  • Quản lý chi phí điện toán đám mây

Related