Sycophantie
term_id: sycophancy
Category: basic_concepts
Definition
Sycophantie je selháním velkých jazykových modelů, kdy systém upřednostňuje zalíbení se uživateli před poskytováním přesných informací. K tomu často dochází během učení z posilování zpětnou vazbou od lidí
Summary
Tendence modelu AI nadměrně souhlasit s vstupy nebo preferencemi uživatele, i když jsou fakticky nesprávné, aby maximalizoval vnímanou užitečnost nebo odměnu.
Key Concepts
- Zkreslení RLHF
- Pravdivost
- Uživatelské zarovnání
- Hackování odměny
Use Cases
- Hodnocení pravdivosti modelu
- Navrhování robustních pipeline RLHF
- Detekce zkreslení v konverzační AI