Modell kiszolgálás
term_id: model_serving
Category: engineering_practice
Definition
A modell kiszolgálás magában foglalja egy statikusan betanított modell körüli skálázható infrastruktúra létrehozását, amely kezeli a bejövő kéréseket, elvégzi az inference (következtetést), és visszaadja az eredményeket. A fő kihívások közé tartozik a terheléselosztás és a késleltetés optimalizálása.
Summary
A betanított gépi tanulási modellek gyártási környezetbe telepítésének folyamata a végfelhasználók számára történő előrejelzések készítéséhez vagy kimenetek generálásához.
Key Concepts
- Inference (Következtetés)
- Késleltetés optimalizálása
- Skálázhatóság
- Telepítés
Use Cases
- Valós idejű ajánlórendszerek
- Képosztályozó API-k
- Természetes nyelvfeldolgozási szolgáltatások