Tracing (Theo dõi quá trình thực thi)
term_id: tracing
Category: engineering_practice
Definition
Trong bối cảnh kỹ thuật AI, tracing liên quan đến việc thu thập nhật ký chi tiết về cách dữ liệu di chuyển qua mô hình hoặc ứng dụng, bao gồm đầu vào, đầu ra, độ trễ và mức sử dụng tài nguyên tại mỗi bước. Điều này cho phép các kỹ sư hiểu rõ hơn về hành vi nội bộ của hệ thống.
Summary
Tracing là kỹ thuật ghi lại đường đi thực thi và các trạng thái trung gian của chương trình hoặc quá trình suy luận của mô hình AI để hỗ trợ gỡ lỗi và tối ưu hóa hiệu suất.
Key Concepts
- Đường đi thực thi
- Đo lường độ trễ
- Gỡ lỗi
- Khả năng quan sát (Observability)
Use Cases
- Gỡ lỗi chuỗi lời nhắc (prompt chains) của LLM
- Tối ưu hóa độ trễ suy luận
- Kiểm toán quyết định của mô hình