Serwowanie Modelu
term_id: model_serving
Category: engineering_practice
Definition
Serwowanie modelu polega na ujęciu statycznego, wytrenowanego modelu w skalowalną infrastrukturę, która obsługuje przychodzące żądania, wykonuje wnioskowanie i zwraca wyniki. Kluczowymi wyzwaniami są zarządzanie…
Summary
Proces wdrażania wytrenowanych modeli uczenia maszynowego do środowisk produkcyjnych w celu generowania predykcji lub wyników dla użytkowników końcowych.
Key Concepts
- Wnioskowanie
- Optymalizacja opóźnień
- Skalowalność
- Wdrożenie
Use Cases
- Silniki rekomendacyjne w czasie rzeczywistym
- Interfejsy API do klasyfikacji obrazów
- Usługi przetwarzania języka naturalnego