Latensi
term_id: latency
Category: engineering_practice
Definition
Latensi mengukur responsivitas layanan AI, biasanya dinyatakan dalam milidetik. Ini mencakup waktu inferensi, penundaan transmisi jaringan, dan beban pemrosesan. Latensi rendah sangat kritis untuk aplikasi waktu nyata di mana keterlambatan dapat mengganggu pengalaman pengguna atau keamanan.
Summary
Jeda waktu antara dimulainya sebuah permintaan dan dimulainya respons dalam sistem AI.
Key Concepts
- Waktu Inferensi
- Waktu Respons
- Pemrosesan Waktu Nyata
- Optimisasi
Use Cases
- Sistem pengenalan suara
- Kendaraan otonom
- Layanan terjemahan langsung