Model Serving
term_id: model_serving
Category: engineering_practice
Definition
Model serving houdt in dat een statisch getraind model wordt verpakt in schaalbare infrastructuur die inkomende verzoeken afhandelt, inferentie uitvoert en resultaten teruggeeft. Belangrijke uitdagingen zijn onder meer het beheer
Summary
Het proces van het implementeren van getrainde machine learning-modellen in productiewebsites om voorspellingen te doen of uitvoer te genereren voor eindgebruikers.
Key Concepts
- Inferentie
- Latentieoptimalisatie
- Schaalbaarheid
- Implementatie
Use Cases
- Realtime aanbevelingsmotoren
- API’s voor beeldclassificatie
- Diensten voor natuurlijke taalverwerking