Ratenbegrenzung
term_id: rate_limiting
Category: engineering_practice
Definition
Die Ratenbegrenzung schützt KI-Dienste und APIs vor Missbrauch, Überlastung und übermäßigem Ressourcenverbrauch. Sie gewährleistet eine faire Nutzung unter den Anwendern und erhält die Systemstabilität, indem sie den Durchsatz begrenzt. Häufige Strategien umfassen Token-basierte oder anfragebasierte Limits.
Summary
Ein ingenieurtechnischer Kontrollmechanismus, der die Anzahl der Anfragen beschränkt, die ein Client innerhalb eines bestimmten Zeitfensters an einen Dienst senden darf.
Key Concepts
- API-Schutz
- Durchsatzkontrolle
- Fair-Use-Richtlinie
- Systemstabilität
Use Cases
- Management von LLM-API-Gateways
- Verhinderung von DDoS-Angriffen
- Steuerung der Cloud-Compute-Kosten