Verimlilik (Throughput)
term_id: throughput
Category: engineering_practice
Definition
Yapay zeka mühendisliğinde verimlilik, sistem kapasitesini gösteren kritik bir performans metriğidir. Genellikle büyük dil modelleri (LLM’ler) için saniyedeki token sayısı, bilgisayarlı görü modelleri için saniyedeki görüntü sayısı veya genel sistemler için saniyedeki sorgu sayısı olarak ölçülür.
Summary
Bir yapay zeka sisteminin belirli bir zaman dilimi içinde başarıyla işleyebileceği veri veya istek miktarını ölçen metrik.
Key Concepts
- Performans Metriği
- Ölçeklenebilirlik
- Toplu İşleme (Batching)
- Gecikme ile Verimlilik İlişkisi
Use Cases
- LLM Çıkarım Sunumu
- Gerçek Zamanlı Video İşleme
- Yüksek Eşzamanlılık Gerektiren API Tasarımı