LLM jako soudce
term_id: llm_as_a_judge
Category: application_paradigms
Definition
Paradigma „LLM jako soudce“ (LLM-as-a-Judge) využívá velký jazykový model jako automatizovaného evaluátora kvality výstupů jiných modelů. Místo spoléhání pouze na lidské anotátory nebo rigidní metrické šablony, LLM analyzuje odpověď v kontextu zadání a poskytuje kvantitativní hodnocení nebo kvalitativní zpětnou vazbu. Tato metoda je klíčová pro ladění modelů pomocí odměňování z lidské zpětné vazby (RLHF) a benchmarking.
Summary
Metoda hodnocení výstupů velkých jazykových modelů pomocí jiného LLM, které skóruje nebo řadí odpovědi podle stanovených kritérií.
Key Concepts
- Automatizované hodnocení
- Inženýrství promptů
- Ladění modelu
- Metriky kvality
Use Cases
- Benchmarking modelů po RLHF
- Hodnocení kreativního psaní
- Detekce bezpečnostních rizik a zkreslení