Throughput (Laju Pemrosesan)
term_id: throughput
Category: engineering_practice
Definition
Dalam rekayasa AI, throughput adalah metrik kinerja kritis yang menunjukkan kapasitas sistem. Ini sering diukur dalam token per detik untuk LLM, gambar per detik untuk model visi komputer, atau kueri per detik untuk…
Summary
Throughput mengukur jumlah data atau permintaan yang dapat diproses secara sukses oleh sistem AI dalam periode waktu tertentu.
Key Concepts
- Metrik Kinerja
- Skalabilitas
- Batching (Pengelompokan)
- Latensi vs. Throughput
Use Cases
- Penyajian Inferensi LLM
- Pemrosesan Video Real-time
- Desain API dengan Konurrensi Tinggi