Reinforcement Learning from Human Feedback（基于人类反馈的强化学习）
term_id: rlhf
Category: training_techniques
Definition
基于人类反馈的强化学习（RLHF）是一种用于微调大型语言模型的方法，使其输出更好地符合人类的价值观和期望。它通常包括三个步骤：收集人类偏好数据、训练奖励模型以及使用强化学习算法（如PPO）优化模型。
Summary
RLHF是一种利用人类反馈训练奖励模型，从而使AI模型符合人类偏好的技术。
Key Concepts
- 偏好数据
- 奖励模型
- 对齐
- PPO（近端策略优化）
Use Cases
- 聊天机器人优化
- 内容审核
- 提高指令遵循能力