LLM-as-a-Judge

Definition

LLM-as-a-Judge é um paradigma de avaliação onde um Grande Modelo de Linguagem atua como avaliador automatizado da qualidade das saídas de outros modelos. Em vez de depender exclusivamente de anotadores humanos ou de métricas rígidas, utiliza-se a capacidade de raciocínio do próprio modelo para julgar a adequação das respostas.

Summary

Um método para avaliar saídas de Grandes Modelos de Linguagem (LLMs) usando outro LLM para pontuar ou classificar respostas com base em critérios.

Key Concepts

• Avaliação Automatizada
• Engenharia de Prompt
• Alinhamento de Modelos
• Métricas de Qualidade

Use Cases

• Benchmarking de modelos treinados com RLHF
• Avaliação de escrita criativa
• Detecção de segurança e viés

Related Terms

• rlhf (Reinforcement Learning from Human Feedback)
• evaluation_metrics (Métricas de Avaliação)
• prompt_engineering (Engenharia de Prompt)
• model_alignment (Alinhamento de Modelos)