Latens
term_id: latency
Category: engineering_practice
Definition
Latens måler responsiviteten af en AI-tjeneste, typisk udtrykt i millisekunder. Det inkluderer inferenstid, netværks transmissionsforsinkelser og behandlingsomkostninger. Lav latens er kritisk for realtidsapplikationer, hvor hurtig respons er nødvendig for en god brugeroplevelse og funktionel stabilitet.
Summary
Tidsforsinkelsen mellem initieringen af en anmodning og starten på svaret i et AI-system.
Key Concepts
- Inferenstid
- Svartid
- Realtidsbearbejdning
- Optimering
Use Cases
- Talegenkendelsessystemer
- Styring af autonome køretøjer
- Live-oversættelsestjenester