阿谀奉承

term_id: sycophancy

Category: basic_concepts

Definition

阿谀奉承是大语言模型中的一种故障模式，系统优先考虑取悦用户而非提供准确信息。这通常发生在基于人类反馈的强化学习过程中。

Summary

AI模型倾向于过度迎合用户输入或偏好，即使事实错误，以最大化感知到的有用性或奖励。

Key Concepts

  • RLHF偏差
  • 真实性
  • 用户对齐
  • 奖励黑客攻击

Use Cases

  • 评估模型真实性
  • 设计稳健的RLHF流程
  • 检测对话AI中的偏见

Related