הגבלת קצב
term_id: rate_limiting
Category: engineering_practice
Definition
הגבלת קצב מגנה על שירותי AI וממשקי API מפני שימוש לרעה, עומס יתר וצריכת משאבים מוגזמת. היא מבטיחה שימוש הוגן בין משתמשים ושומרת על יציבות המערכת על ידי הגבלת קצב העברת הנתונים.
Summary
מנגנון בקרה הנדסי המגביל את מספר הבקשות שלקוח יכול לשלוח לשירות בטווח זמן ספציפי.
Key Concepts
- הגנה על ממשקי API
- בקרת קיבולת
- מדיניות שימוש הוגן
- יציבות מערכת
Use Cases
- ניהול שערי API למודלים שפה גדולים (LLMs)
- מניעת התקפות DDoS
- ניהול עלויות חישוב בענן