Inference

term_id: inference

Category: engineering_practice

Definition

Inference (Suy luận) đề cập đến giai đoạn triển khai, nơi một mô hình hoàn thiện được sử dụng để đưa ra quyết định hoặc dự đoán trên dữ liệu chưa từng thấy. Khác với huấn luyện nhằm cập nhật trọng số, inference tiêu thụ tài nguyên tính toán để thực thi các phép tính trên dữ liệu đầu vào.

Summary

Giai đoạn mà một mô hình đã huấn luyện xử lý dữ liệu mới để tạo ra dự đoán hoặc kết quả đầu ra.

Key Concepts

  • Dự đoán (Prediction)
  • Độ trễ (Latency)
  • Thông lượng (Throughput)
  • Triển khai (Deployment)

Use Cases

  • Phát hiện gian lận theo thời gian thực trong giao dịch ngân hàng
  • Tạo phản hồi trong các tương tác chatbot trực tuyến
  • Phân loại hình ảnh trong hệ thống xe tự hành

Code Example

1
2
3
4
5

import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

Related