Hakem Olarak Büyük Dil Modeli
term_id: llm_as_a_judge
Category: application_paradigms
Definition
Hakem Olarak Büyük Dil Modeli (LLM-as-a-Judge), büyük bir dil modelinin diğer modellerin çıktı kalitesi için otomatik bir değerlendirici olarak görev yaptığı bir değerlendirme paradigmasıdır. Sadece insan anotörlerine veya katı kural tabanlı metriklere güvenmek yerine, dil modellerinin üretkenliği, tutarlılığı ve güvenlik gibi niteliklerini ölçmek için doğal dil işleme yeteneklerinden yararlanır.
Summary
Başka bir büyük dil modelini kullanarak, yanıtları belirli kriterlere göre puanlamak veya sıralamak suretiyle büyük dil modeli çıktılarını değerlendirme yöntemi.
Key Concepts
- Otomatik Değerlendirme
- İstem Mühendisliği
- Model Hizalaması
- Kalite Metrikleri
Use Cases
- RLHF modellerinin benchmarklanması
- Yaratıcı yazarlığın değerlendirilmesi
- Güvenlik ve önyargı tespiti