Hız Sınırlama
term_id: rate_limiting
Category: engineering_practice
Definition
Hız sınırlama, AI servislerini ve API’leri kötüye kullanımdan, aşırı yüklenmeden ve aşırı kaynak tüketiminden korur. Geçiş kapasitesini (throughput) sınırlandırarak sistem kararlılığını sağlar ve kullanıcılar arasında adil kullanımın garantisini verir. Yaygın stratejiler arasında sabit pencere, çakışan pencere ve jetonlu kuyu algoritmaları yer alır.
Summary
Bir istemcinin belirli bir zaman penceresi içinde bir servise yapabileceği istek sayısını kısıtlayan mühendislik tabanlı bir kontrol mekanizması.
Key Concepts
- API koruması
- Geçiş kapasitesi kontrolü
- Adil kullanım politikası
- Sistem kararlılığı
Use Cases
- Büyük Dil Modelleri (LLM) API ağ geçidi yönetimi
- Dağıtık Hizmet Reddi Saldırılarını (DDoS) önleme
- Bulut bilişim maliyetlerinin yönetimi