Modellevering
term_id: model_serving
Category: engineering_practice
Definition
Modellevering indebærer at tage en statisk trænet model og indpakke den i en skalerbar infrastruktur, der håndterer indkommende anmodninger, udfører inferens og returnerer resultater. Nøgleudfordringer inkluderer styring af latens, skalering under belastning og vedligeholdelse af modellens stabilitet i produktion.
Summary
Processen med at udrulle trænet maskinlæringskode i produktionsmiljøer for at generere forudsigelser eller output til slutbrugere.
Key Concepts
- Inferens
- Latensoptimering
- Skalerbarhed
- Udrulning
Use Cases
- Realtime anbefalingssystemer
- API’er til billedklassificering
- Tjenester til naturlig sprogbehandling