Latens
term_id: latency
Category: engineering_practice
Definition
Latens mäter en AI-tjänsts responsivitet, vanligtvis uttryckt i millisekunder. Det inkluderar inferenstid, nätverksöverföringsfördröjningar och bearbetningsöverhead. Låg latens är kritisk för realtidsapplikationer där omedelbar feedback krävs för en bra användarupplevelse och systemets effektivitet.
Summary
Tidsfördröjningen mellan initieringen av en begäran och starten på svaret i ett AI-system.
Key Concepts
- Inferenstid
- Svartid
- Realtidsbearbetning
- Optimering
Use Cases
- Rögenkänningssystem
- Styrning av autonoma fordon
- Live-översättningstjänster