Servicio de Modelos
term_id: model_serving
Category: engineering_practice
Definition
El servicio de modelos implica tomar un modelo entrenado estático y envolverlo en una infraestructura escalable que maneje las solicitudes entrantes, realice la inferencia y devuelva los resultados. Los desafíos clave incluyen gestionar la latencia y la escalabilidad.
Summary
El proceso de desplegar modelos de aprendizaje automático entrenados en entornos de producción para realizar predicciones o generar salidas para los usuarios finales.
Key Concepts
- Inferencia
- Optimización de latencia
- Escalabilidad
- Despliegue
Use Cases
- Motores de recomendación en tiempo real
- APIs de clasificación de imágenes
- Servicios de procesamiento de lenguaje natural