Limitazione della frequenza
term_id: rate_limiting
Category: engineering_practice
Definition
La limitazione della frequenza protegge i servizi AI e le API da abusi, sovraccarichi e consumo eccessivo di risorse. Garantisce un utilizzo equo tra gli utenti e mantiene la stabilità del sistema limitando il throughput. Le strategie comuni includono token bucket o sliding window.
Summary
Un meccanismo di controllo ingegneristico che limita il numero di richieste che un client può inviare a un servizio entro una finestra temporale specifica.
Key Concepts
- Protezione API
- Controllo del throughput
- Politica di utilizzo equo
- Stabilità del sistema
Use Cases
- Gestione dei gateway API per LLM
- Prevenzione degli attacchi DDoS
- Gestione dei costi di calcolo cloud