Limitation de débit
term_id: rate_limiting
Category: engineering_practice
Definition
La limitation de débit protège les services IA et les API contre les abus, la surcharge et la consommation excessive de ressources. Elle garantit une utilisation équitable parmi les utilisateurs et maintient la stabilité du système en plafonnant le débit. Les stratégies courantes incluent le compteur fixe, le token bucket ou le leaky bucket.
Summary
Un mécanisme de contrôle technique qui restreint le nombre de requêtes qu’un client peut adresser à un service dans une fenêtre de temps spécifique.
Key Concepts
- Protection des API
- Contrôle du débit
- Politique d’utilisation équitable
- Stabilité du système
Use Cases
- Gestion des passerelles d’API pour les LLM
- Prévention des attaques DDoS
- Gestion des coûts de calcul cloud