LLM ca Judecător
term_id: llm_as_a_judge
Category: application_paradigms
Definition
Abordarea „LLM ca Judecător” este un paradigmă de evaluare în care un model lingvistic mare acționează ca un evaluator automat al calității ieșirilor generate de alte modele. În loc să se bazeze exclusiv pe annotatori umani sau…
Summary
O metodă de evaluare a ieșirilor modelelor lingvistice mari (LLM) prin utilizarea unui alt LLM pentru a puncta sau clasifica răspunsurile conform unor criterii.
Key Concepts
- Evaluare automată
- Ingineria prompturilor
- Alinierea modelelor
- Metrici de calitate
Use Cases
- Benchmarking-ul modelelor RLHF
- Evaluarea scrierii creative
- Detectarea siguranței și a biasului