עיכוב (Latency)
term_id: latency
Category: engineering_practice
Definition
עיכוב מודד את מהירות התגובה של שירות בינה מלאכותית, לרוב בציון במילישניות. הוא כולל זמן הסקה (Inference), עיכובי העברת רשת ועומס עיבוד. עיכוב נמוך קריטי ליישומים הדורשים תגובה מיידית.
Summary
זמן ההשהיה בין התחלת בקרה לבין תחילת המתן בתגובה במערכת בינה מלאכותית.
Key Concepts
- זמן הסקה
- זמן תגובה
- עיבוד בזמן אמת
- אופטימיזציה
Use Cases
- מערכות זיהוי דיבור
- בקרה ברכבים אוטונומיים
- שירותי תרגום חי