Provozování modelů
term_id: model_serving
Category: engineering_practice
Definition
Provozování modelů zahrnuje převzetí statického natrénovaného modelu a jeho zabalení do škálovatelné infrastruktury, která zpracovává příchozí požadavky, provádí inferenci a vrací výsledky. Klíčovou výzvou je
Summary
Proces nasazování natrénovaných modelů strojového učení do produkčního prostředí za účelem provádění predikcí nebo generování výstupů pro koncové uživatele.
Key Concepts
- Inference
- Optimalizace latence
- Škálovatelnost
- Nasazení
Use Cases
- Reálné doporučovací systémy
- Rozhraní API pro klasifikaci obrázků
- Služby zpracování přirozeného jazyka