Limitarea ratei
term_id: rate_limiting
Category: engineering_practice
Definition
Limitarea ratei protejează serviciile AI și API-urile împotriva abuzului, suprasolicitării și consumului excesiv de resurse. Asigură o utilizare echitabilă între utilizatori și menține stabilitatea sistemului prin limitarea fluxului de trafic. Strategiile comune includ token bucket și leaky bucket.
Summary
Un mecanism de control ingineresc care restricționează numărul de cereri pe care un client le poate face către un serviciu într-o fereastră de timp specifică.
Key Concepts
- Protecția API-urilor
- Controlul fluxului (Throughput control)
- Politica de utilizare echitabilă
- Stabilitatea sistemului
Use Cases
- Gestionarea gateway-urilor API pentru modelele lingvistice mari (LLM)
- Prevenirea atacurilor DDoS
- Gestionarea costurilor de calcul cloud