Pelacakan
term_id: tracing
Category: engineering_practice
Definition
Dalam konteks rekayasa AI, pelacakan melibatkan pengambilan log terperinci tentang bagaimana data mengalir melalui model atau aplikasi, termasuk input, output, latensi, dan penggunaan sumber daya pada setiap langkah. Hal ini memungkinkan insinyur untuk memvisualisasikan alur kerja, mengidentifikasi kemacetan, dan memahami perilaku model secara mendetail.
Summary
Pelacakan adalah teknik yang merekam jalur eksekusi dan keadaan antara dari sebuah program atau inferensi model AI untuk memfasilitasi pemecahan masalah (debugging) dan optimasi kinerja.
Key Concepts
- Jalur Eksekusi
- Pengukuran Latensi
- Pemecahan Masalah (Debugging)
- Keteramatan (Observability)
Use Cases
- Memecahkan masalah rantai prompt LLM
- Mengoptimalkan latensi inferensi
- Audit keputusan model