Khả năng quan sát AI

term_id: ai_observability

Category: engineering_practice

Definition

Khả năng quan sát AI mở rộng việc giám sát phần mềm truyền thống để giải quyết các thách thức độc đáo của các hệ thống học máy. Nó liên quan đến việc theo dõi hiệu suất mô hình, sự trôi dạt dữ liệu và độ trễ suy luận theo thời gian thực, cho phép các nhà phát triển hiểu rõ hơn về hành vi của mô hình trong môi trường sản xuất.

Summary

Thực tiễn giám sát và hiểu trạng thái bên trong của các hệ thống học máy thông qua nhật ký (logs), chỉ số (metrics) và dấu vết (traces).

Key Concepts

  • Sự trôi dạt dữ liệu (Data drift)
  • Giám sát mô hình
  • Dữ liệu telemetery
  • Gỡ lỗi

Use Cases

  • Phát hiện sự trôi dạt khái niệm trong các mô hình sản xuất
  • Khắc phục sự cố các dự đoán có độ tin cậy thấp
  • Đảm bảo tuân thủ các thỏa thuận mức dịch vụ (SLA) cho các dịch vụ AI

Code Example

1
2
3
4
5
6
7
8
9

import mlflow

# Log metrics during training
mlflow.log_metric('accuracy', 0.95)
mlflow.log_metric('loss', 0.05)

# Track model parameters
mlflow.log_param('learning_rate', 0.01)
mlflow.log_param('epochs', 10)

Related