Tracing
term_id: tracing
Category: engineering_practice
Definition
V kontextu inženýrství AI zahrnuje tracing zachycení podrobných protokolů o tom, jak data proudí modelem nebo aplikací, včetně vstupů, výstupů, latence a využití zdrojů v každém kroku. To umožňuje…
Summary
Tracing je technika, která zaznamenává cestu provedení a mezilehlé stavy programu nebo inferenčního procesu AI modelu za účelem usnadnění ladění a optimalizace výkonu.
Key Concepts
- Cesta provedení
- Měření latence
- Ladění
- Sledovatelnost
Use Cases
- Ladění řetězců promptů pro velké jazykové modely
- Optimalizace latence inferenčních procesů
- Auditování rozhodnutí modelu