처리량

term_id: throughput

Category: engineering_practice

Definition

AI 엔지니어링에서 처리량은 시스템 용량을 나타내는 중요한 성능 지표입니다. 이는 대규모 언어 모델(LLM)의 경우 초당 토큰 수, 컴퓨터 비전 모델의 경우 초당 이미지 수, 또는 쿼리 수 등으로 측정됩니다.

Summary

처리량은 AI 시스템이 주어진 시간 내에 성공적으로 처리할 수 있는 데이터 또는 요청의 양을 측정합니다.

Key Concepts

성능 지표
확장성
배치 처리(Batching)
지연 시간과 처리량의 차이

Use Cases

LLM 추론 서빙
실시간 비디오 처리
고동시성 API 설계