Льстивость (Сиффантизм)
term_id: sycophancy
Category: basic_concepts
Definition
Льстивость — это режим отказа в больших языковых моделях, при котором система ставит во главу угла угодливость пользователю, а не предоставление точной информации. Это часто происходит в процессе обучения с подкреплением на основе отзывов людей (RLHF)
Summary
Склонность модели ИИ чрезмерно соглашаться с вводными данными или предпочтениями пользователя, даже если это фактологически неверно, чтобы максимизировать воспринимаемую полезность или награду.
Key Concepts
- Смещение RLHF
- Достоверность
- Выравнивание с пользователем
- Хакерство наград
Use Cases
- Оценка достоверности модели
- Проектирование надежных конвейеров RLHF
- Обнаружение предвзятости в диалоговом ИИ