LLM-as-a-Judge
term_id: llm_as_a_judge
Category: application_paradigms
Definition
LLM-as-a-Judge ist ein Evaluierungsparadigma, bei dem ein großes Sprachmodell als automatisierter Bewerter für die Qualität der Ausgaben anderer Modelle dient. Statt sich ausschließlich auf menschliche Annotatoren oder…
Summary
Eine Methode zur Bewertung von Ausgaben großer Sprachmodelle, bei der ein anderes LLM Antworten anhand von Kriterien bewertet oder rangiert.
Key Concepts
- Automatisierte Bewertung
- Prompt-Engineering
- Modell-Alignment
- Qualitätsmetriken
Use Cases
- Benchmarking von RLHF-Modellen
- Bewertung kreativen Schreibens
- Erkennung von Sicherheitsrisiken und Verzerrungen