Mallin tarjoilu
term_id: model_serving
Category: engineering_practice
Definition
Mallin tarjoilu tarkoittaa staattisen koulutetun mallin ottamista käyttöön skaalautuvassa infrastruktuurissa, joka käsittelee saapuvia pyyntöjä, suorittaa päättelyn (inference) ja palauttaa tulokset. Keskeisiä haasteita ovat suorituskyvyn optimointi ja resurssien hallinta.
Summary
Prosessi, jossa koulutetut koneoppimismallit otetaan tuotantokäyttöön ennusteiden tekemiseksi tai lopullisten käyttäjien tuottamaksi syötteeksi.
Key Concepts
- Päättely (Inference)
- Viiveen optimointi
- Skaalautuvuus
- Otoksen käyttöönotto (Deployment)
Use Cases
- Reaaliaikaiset suositusmoottorit
- Kuvien luokittelun sovellusliittymät
- Luonnollisen kielen käsittelyn palvelut