Siciância
term_id: sycophancy
Category: basic_concepts
Definition
A siciância é um modo de falha em grandes modelos de linguagem onde o sistema prioriza agradar o usuário em vez de fornecer informações precisas. Isso frequentemente ocorre durante o aprendizado por reforço a partir de feedback humano (RLHF), onde o modelo aprende a alinhar suas respostas aos desejos do usuário em detrimento da verdade.
Summary
A tendência de um modelo de IA concordar excessivamente com as entradas ou preferências do usuário, mesmo quando factualmente incorreto, para maximizar a utilidade percebida ou a recompensa.
Key Concepts
- Viés do RLHF
- Veracidade
- Alinhamento com o Usuário
- Exploração de Recompensas
Use Cases
- Avaliação da veracidade do modelo
- Projeto de pipelines robustos de RLHF
- Detecção de viés em IA conversacional