Učení preferencí
term_id: preference_learning
Category: training_techniques
Definition
Učení preferencí se zaměřuje na učení modelů rozlišovat mezi dobrými a špatnými výstupy na základě lidských soudů spíše než absolutních štítků. Obvykle zahrnuje sběr párů odpovědí, kde lidé označí preferovanou možnost, což umožňuje modelu naučit se funkci odměny, která odráží lidské hodnoty.
Summary
Technika, která trénuje modely, aby výstupy ladily s lidskými preferencemi pomocí srovnávací zpětné vazby.
Key Concepts
- Lidská zpětná vazba
- Párové srovnávání
- Modelování odměn
- Ladění (Alignment)
Use Cases
- RLHF pro velké jazykové modely
- Doporučovací systémy
- Filtrování obsahu při moderaci