Begränsning av begärningsfrekvens
term_id: rate_limiting
Category: engineering_practice
Definition
Begränsning av begärningsfrekvens skyddar AI-tjänster och API:er från missbruk, överbelastning och överdriven resursförbrukning. Den säkerställer rättvis användning bland användare och upprätthåller systemstabilitet genom att caps:a genomströmningen. Vanliga strategier inkluderar fasta fönster, glidande fönster och token bucket-algoritmer.
Summary
En teknisk kontrollmekanism som begränsar antalet förfrågningar en klient kan göra mot en tjänst under ett specifikt tidsfönster.
Key Concepts
- API-skydd
- Genomströmningskontroll
- Rättviseprincip för användning
- Systemstabilitet
Use Cases
- Hantering av LLM-API-gatewayer
- Förebyggande av DDoS-attacker
- Hantering av molnberäkningskostnader