Déploiement de Modèles
term_id: model_serving
Category: engineering_practice
Definition
Le déploiement de modèles consiste à prendre un modèle statique et entraîné et à l’envelopper dans une infrastructure évolutive qui gère les requêtes entrantes, effectue l’inférence et renvoie les résultats. Les défis clés incluent la gestion de la latence et de la scalabilité.
Summary
Le processus de déploiement de modèles d’apprentissage automatique entraînés dans des environnements de production afin de faire des prédictions ou de générer des sorties pour les utilisateurs finaux.
Key Concepts
- Inférence
- Optimisation de la latence
- Évolutivité
- Déploiement
Use Cases
- Moteurs de recommandation en temps réel
- API de classification d’images
- Services de traitement du langage naturel