Limitación de tasa
term_id: rate_limiting
Category: engineering_practice
Definition
La limitación de tasa protege los servicios de IA y las API contra abusos, sobrecargas y consumo excesivo de recursos. Garantiza un uso justo entre usuarios y mantiene la estabilidad del sistema al limitar el rendimiento máximo. Las estrategias comunes incluyen ventanas deslizantes o de token bucket.
Summary
Un mecanismo de control de ingeniería que restringe el número de solicitudes que un cliente puede hacer a un servicio dentro de una ventana de tiempo específica.
Key Concepts
- Protección de API
- Control de rendimiento
- Política de uso justo
- Estabilidad del sistema
Use Cases
- Gestión de pasarelas de API para LLM
- Prevención de ataques DDoS
- Gestión de costos de computación en la nube
Related Terms
- Ralentización (reducción intencional de velocidad de tráfico)
- Calidad de servicio (QoS) (gestión del tráfico de red para priorizar ciertos tipos de datos)
- Pasarela API (punto único de entrada para gestionar solicitudes a microservicios)
- Balanceo de carga (distribución de tráfico entre múltiples servidores)