Latens
term_id: latency
Category: engineering_practice
Definition
Latens måler responsiviteten til en AI-tjeneste, vanligvis uttrykt i millisekunder. Den inkluderer inferenstid, nettverksforsinkelser og prosesseringsoverhead. Lav latens er kritisk for sanntidsapplikasjoner der umiddelbar respons er nødvendig for en god brukeropplevelse eller sikker drift, som i interaktive spill eller autonome kjøretøy.
Summary
Tidsforsinkelsen mellom initieringen av en forespørsel og starten på svaret i et AI-system.
Key Concepts
- Inferenstid
- Svartid
- Sanntidsprosessering
- Optimalisering
Use Cases
- Talegjenkjennelsessystemer
- Styring av autonome kjøretøy
- Direkte oversettelsestjenester