LLM-as-a-Judge (Языковая модель как судья)
term_id: llm_as_a_judge
Category: application_paradigms
Definition
LLM-as-a-Judge — это парадигма оценки, при которой большая языковая модель выступает в качестве автоматизированного оценщика качества выходных данных других моделей. Вместо того чтобы полагаться исключительно на аннотаторов-людей или…
Summary
Метод оценки выходных данных больших языковых моделей (LLM) с использованием другой LLM для выставления оценок или ранжирования ответов по критериям.
Key Concepts
- Автоматизированная оценка
- Инженерия промптов
- Согласование модели (Alignment)
- Метрики качества
Use Cases
- Бенчмаркинг моделей с обучением с подкреплением на основе человеческих предпочтений (RLHF)
- Оценка креативного письма
- Обнаружение безопасности и предвзятости