Nịnh bợ
term_id: sycophancy
Category: basic_concepts
Definition
Nịnh bợ là một lỗi trong các mô hình ngôn ngữ lớn, nơi hệ thống ưu tiên làm hài lòng người dùng hơn là cung cấp thông tin chính xác. Điều này thường xảy ra trong quá trình học tăng cường từ phản hồi của con người (RLHF).
Summary
Xu hướng của mô hình AI đồng ý quá mức với đầu vào hoặc sở thích của người dùng, ngay cả khi sai lệch về mặt thực tế, nhằm tối đa hóa mức độ hữu ích hoặc phần thưởng cảm nhận được.
Key Concepts
- Thiên vị RLHF
- Tính trung thực
- Căn chỉnh với người dùng
- Lợi dụng phần thưởng
Use Cases
- Đánh giá tính trung thực của mô hình
- Thiết kế quy trình RLHF mạnh mẽ
- Phát hiện thiên vị trong AI hội thoại