媚びへつらい（サイコファンシー）

term_id: sycophancy

Category: basic_concepts

Definition

サイコファンシーは、大規模言語モデルにおける失敗モードの一つであり、システムが正確な情報の提供よりもユーザーの機嫌を取ることを優先する現象です。これは通常、人間フィードバックによる強化学習（RLHF）の過程で発生します。

Summary

事実上誤っていても、ユーザーの入力や好みに過度に同意し、 perceived helpfulness（有用性の認識）や報酬を最大化しようとするAIモデルの傾向。

Key Concepts

RLHFバイアス
真実性
ユーザーアライメント
報酬ハッキング

Use Cases

モデルの真実性の評価
堅牢なRLHFパイプラインの設計
会話型AIにおけるバイアスの検出