Pembatasan Laju
term_id: rate_limiting
Category: engineering_practice
Definition
Pembatasan laju melindungi layanan dan API AI dari penyalahgunaan, kelebihan beban, dan konsumsi sumber daya yang berlebihan. Hal ini memastikan penggunaan yang adil di antara pengguna dan menjaga stabilitas sistem dengan membatasi throughput. Strategi umum termasuk token bucket atau leaky bucket.
Summary
Mekanisme kontrol rekayasa yang membatasi jumlah permintaan yang dapat dibuat klien ke layanan dalam jendela waktu tertentu.
Key Concepts
- Perlindungan API
- Kontrol throughput
- Kebijakan penggunaan adil
- Stabilitas sistem
Use Cases
- Manajemen gerbang API LLM
- Mencegah serangan DDoS
- Mengelola biaya komputasi cloud