模型服务
term_id: model_serving
Category: engineering_practice
Definition
模型服务涉及将静态的训练模型封装在可扩展的基础设施中，以处理传入请求、执行推理并返回结果。关键挑战包括管理延迟、优化吞吐量以及确保高可用性。通过容器化和服务网格技术，模型服务使得AI能力能够以API形式稳定地提供给应用程序使用。
Summary
将训练好的机器学习模型部署到生产环境中，以便为最终用户提供预测或生成输出的过程。
Key Concepts
- 推理
- 延迟优化
- 可扩展性
- 部署
Use Cases
- 实时推荐引擎
- 图像分类API
- 自然语言处理服务