LLM jako sędzia
term_id: llm_as_a_judge
Category: application_paradigms
Definition
Paradygmat “LLM jako sędzia” to podejście do oceny, w którym duży model językowy pełni rolę zautomatyzowanego evaluatora jakości wyjść innych modeli. Zamiast polegać wyłącznie na ludzkich anotatorach lub…
Summary
Metoda oceny wyników dużych modeli językowych poprzez wykorzystanie innego modelu LLM do punktowania lub rangowania odpowiedzi zgodnie z kryteriami.
Key Concepts
- Automatyczna ocena
- Inżynieria promptów
- Wyrównanie modelu
- Miary jakości
Use Cases
- Benchmarkowanie modeli z uczeniem z nagrodą za zgodność z ludzkimi preferencjami (RLHF)
- Ocena twórczego pisania
- Wykrywanie bezpieczeństwa i uprzedzeń