Modellhantering
term_id: model_serving
Category: engineering_practice
Definition
Modellhantering innebär att ta en statisk, tränad modell och omsluta den i skalbar infrastruktur som hanterar inkommande begäranden, utför inferens och returnerar resultat. Nyckelutmaningar inkluderar hantering av latens, skalbarhet och resursallokering under hög belastning.
Summary
Processen att distribuera tränade maskininlärningsmodeller till produktionsmiljöer för att göra prediktioner eller generera resultat för slutanvändare.
Key Concepts
- Inferens
- Latensoptimering
- Skalbarhet
- Distribution
Use Cases
- Rekommendationssystem i realtid
- API:er för bildklassificering
- Tjänster för naturlig språkbehandling