추적(Tracing)
term_id: tracing
Category: engineering_practice
Definition
AI 엔지니어링의 맥락에서 추적은 각 단계에서 입력, 출력, 지연 시간(latency) 및 리소스 사용량을 포함하여 데이터가 모델이나 애플리케이션을 통과하는 방식에 대한 상세한 로그를 캡처하는 작업을 의미합니다. 이를 통해 시스템의 동작을 가시화하고 병목 지점을 식별할 수 있습니다.
Summary
디버깅과 성능 최적화를 위해 프로그램 또는 AI 모델 추론의 실행 경로와 중간 상태를 기록하는 기술입니다.
Key Concepts
- 실행 경로
- 지연 시간 측정
- 디버깅
- 관측 가능성(Observability)
Use Cases
- LLM 프롬프트 체인 디버깅
- 추론 지연 시간 최적화
- 모델 의사결정 감사