レイテンシ

Definition

レイテンシは、通常ミリ秒単位で表されるAIサービスの応答性を測定する指標です。これには推論時間、ネットワーク伝送遅延、および処理オーバーヘッドが含まれます。リアルタイム性が求められるアプリケーションでは、低レイテンシが極めて重要です。

Summary

AIシステムにおいて、リクエストの開始から応答の開始までに生じる時間遅延。

Key Concepts

• 推論時間
• 応答時間
• リアルタイム処理
• 最適化

Use Cases

• 音声認識システム
• 自律走行車の制御
• ライブ翻訳サービス

Related Terms

• throughput (スループット)
• inference (推論)
• optimization (最適化)
• real_time (リアルタイム)