Késleltetés
term_id: latency
Category: engineering_practice
Definition
A késleltetés méri egy AI szolgáltatás reakcióidejét, amelyet általában milliszekundumban fejeznek ki. Magában foglalja az inferencia (következtetési) időt, a hálózati továbbítási késéseket és a feldolgozási terhet. Az alacsony késleltetés kritikus fontosságú a valós idejű alkalmazásokban, mivel közvetlenül befolyásolja a felhasználói élményt és a rendszer hatékonyságát.
Summary
Az időeltolódás egy kérés indítása és az AI rendszerben a válasz megkezdése között.
Key Concepts
- Inferencia idő (Inference Time)
- Válaszidő (Response Time)
- Valós idejű feldolgozás (Real-time Processing)
- Optimalizálás (Optimization)
Use Cases
- Hangfelismerő rendszerek
- Autonóm járművek vezérlése
- Élő fordító szolgáltatások