Предоставление моделей
term_id: model_serving
Category: engineering_practice
Definition
Предоставление моделей включает в себя упаковку статической обученной модели в масштабируемую инфраструктуру, которая обрабатывает входящие запросы, выполняет инференс и возвращает результаты. Ключевыми задачами являются управление…
Summary
Процесс развертывания обученных моделей машинного обучения в производственные среды для выполнения прогнозов или генерации результатов для конечных пользователей.
Key Concepts
- Инференс
- Оптимизация задержки
- Масштабируемость
- Развертывание
Use Cases
- Системы рекомендаций в реальном времени
- API классификации изображений
- Сервисы обработки естественного языка