スループット
term_id: throughput
Category: engineering_practice
Definition
AIエンジニアリングにおいて、スループットはシステムの処理能力を示す重要なパフォーマンス指標です。大規模言語モデル（LLM）では「トークン/秒」、コンピュータビジョンモデルでは「画像/秒」、APIサービスでは「クエリ/秒」などで測定されます。高いスループットは、システムが大量の同時アクセスやバッチ処理を効率的に捌けることを意味し、コスト効率とユーザー体験に直結します。
Summary
スループットは、AIシステムが一定時間内に正常に処理できるデータ量またはリクエスト数を測定する指標です。
Key Concepts
- パフォーマンス指標
- スケーラビリティ
- バッチ処理
- レイテンシとスループットの関係
Use Cases
- LLM推論サービング
- リアルタイム動画処理
- 高同時接続API設計