Rastreamento
term_id: tracing
Category: engineering_practice
Definition
No contexto da engenharia de IA, o rastreamento envolve capturar logs detalhados de como os dados fluem através de um modelo ou aplicativo, incluindo entradas, saídas, latência e uso de recursos em cada etapa. Isso i
Summary
O rastreamento é uma técnica que registra o caminho de execução e os estados intermediários de um programa ou inferência de modelo de IA para facilitar a depuração e a otimização de desempenho.
Key Concepts
- Caminho de Execução
- Medição de Latência
- Depuração
- Observabilidade
Use Cases
- Depuração de cadeias de prompts de LLM
- Otimização da latência de inferência
- Auditoria de decisões do modelo