Phục vụ Mô hình
term_id: model_serving
Category: engineering_practice
Definition
Phục vụ mô hình liên quan đến việc lấy một mô hình đã huấn luyện tĩnh và gói nó trong một cơ sở hạ tầng có khả năng mở rộng để xử lý các yêu cầu đến, thực hiện suy luận và trả về kết quả. Các thách thức chính bao gồm quản lý độ trễ, tối ưu hóa tài nguyên và đảm bảo tính sẵn sàng cao khi xử lý lưu lượng truy cập biến động.
Summary
Quy trình triển khai các mô hình học máy đã được huấn luyện vào môi trường sản xuất để đưa ra dự đoán hoặc tạo đầu ra cho người dùng cuối.
Key Concepts
- Suy luận
- Tối ưu hóa độ trễ
- Khả năng mở rộng
- Triển khai
Use Cases
- Công cụ gợi ý thời gian thực
- API phân loại hình ảnh
- Dịch vụ xử lý ngôn ngữ tự nhiên