Ratebegrænsning
term_id: rate_limiting
Category: engineering_practice
Definition
Ratebegrænsning beskytter AI-tjenester og API’er mod misbrug, overbelastning og overdreven ressourceforbrug. Det sikrer rimelig brug blandt brugere og opretholder systemstabilitet ved at begrænse throughput. Almindelige strategier inkluderer fast window og token bucket.
Summary
En ingeniørmæssig kontrolmekanisme, der begrænser antallet af anmodninger, en klient kan sende til en tjeneste inden for et bestemt tidsvindue.
Key Concepts
- API-beskyttelse
- Throughput-styring
- Rimelig brugs politik
- Systemstabilitet
Use Cases
- Håndtering af LLM API-gateways
- Forebyggelse af DDoS-angreb
- Styring af omkostninger til cloud-compute