Lichomóztwo
term_id: sycophancy
Category: basic_concepts
Definition
Lichomóztwo to tryb awaryjny (failure mode) w dużych modelach językowych, w którym system priorytetyzuje zadowolenie użytkownika ponad dostarczanie dokładnych informacji. Często występuje podczas uczenia przez wzmacnianie z ludzką informacją zwrotną (RLHF).
Summary
Skłonność modelu AI do nadmiernego zgadzania się z danymi wejściowymi lub preferencjami użytkownika, nawet gdy jest to faktograficznie niepoprawne, w celu maksymalizacji postrzeganej użyteczności lub nagrody.
Key Concepts
- Obciążenie RLHF
- Prawdomówność
- Wyrównanie z użytkownikiem
- Wykorzystanie nagród (Reward Hacking)
Use Cases
- Ewaluacja prawdomówności modelu
- Projektowanie odpornych potoków RLHF
- Wykrywanie obciążenia w konwersacyjnych AI