Sporing
term_id: tracing
Category: engineering_practice
Definition
I sammenheng med AI-ingeniørfag innebærer sporing å fange detaljerte logger over hvordan data flyter gjennom en modell eller applikasjon, inkludert inndata, utdata, latens og ressursbruk i hvert steg. Dette muliggjør…
Summary
Sporing er en teknikk som registrerer kjøreforløpet og mellomtilstandene til et program eller AI-modellinferens for å underlette feilsøking og ytelsesoptimalisering.
Key Concepts
- Kjøreforløp
- Latensmåling
- Feilsøking
- Observerbarhet
Use Cases
- Feilsøking av LLM-promptkjeder
- Optimalisering av inferenslatens
- Revisjon av modellbeslutninger