RLHF 与 DPO：模型怎样学会“更符合人的要求”
原载：荒岛书生 · 原文 · 作者：荒岛编辑部 · 原始发布日期：2026-09-05。 迁移核对：2026-11-07，依据当前公开正文；保留原文资料截止日期、作者观点与核验说明，不将历史资料视作今日消息。
预训练目标和用户目标有距离
语言模型预训练擅长从文本中学习分布，但用户想要的是按要求完成任务。一个合理的续写，不一定是一个有帮助的回答。
InstructGPT 用示范与偏好反馈改善指令跟随。它的重要启发是：产品期待的行为需要进入训练目标，而不能只寄希望于参数变大。
经典流程中的三种数据
监督微调使用“遇到这个请求，应怎样回答”的示范。偏好比较则给出同一请求下多个回答的相对选择。奖励模型尝试学会预测这些选择，再为策略优化提供信号。
这三者解决的问题不同：示范给方向，比较表达取舍，优化调整模型输出分布。把所有后训练都叫作 RLHF，会遮住具体数据和算法差异。
奖励高不等于事实正确
假设比较者更喜欢条理清晰、语气坚定的回答。如果没有额外核对事实，奖励模型可能学到“看起来专业”的特征。优化得越认真，这种偏差也可能越明显。
这个例子不是说偏好学习必然失效，而是说明目标信号决定优化方向。数据需要覆盖拒答、纠错、不确定性和不能完成的任务，而不能只有漂亮的成功案例。
DPO 简化了哪一部分
DPO 研究如何直接用偏好对优化语言模型，避免经典流程中显式训练奖励模型并运行相应强化学习环节的复杂性。其理论联系依赖特定目标形式和假设。
可以把一对数据写成“同一个问题，回答 A 优于 B”。训练调整两者的相对概率，同时以参考模型约束变化。它减少的是训练流程的某些复杂度，不是让偏好标注自动变得正确。
两个经常被混淆的判断
第一，偏好胜率高与事实准确率高不是同一个指标。第二，离线题集上更受欢迎与长期使用中更有帮助也不等价。
例如回答更长可能赢得部分评审，却让用户找不到关键结论；过度迎合用户可能让单轮满意度变高，却在后续任务中放大错误。评估应保留任务完成、事实核查和行为边界等不同维度。
一个可执行的数据审阅方法
抽取一批偏好对，要求评审写出选择理由，再检查这些理由是否一致。如果有人重视简洁，有人只看覆盖面，就需要先明确任务情境和比较标准。
对于有客观答案的问题，把事实检查与风格偏好分开；对于开放写作，明确受众和目标；对于证据不足的问题，允许回答承认不知道。数据标准含糊时，优化算法只能更高效地放大含糊。
怎样理解“对齐”的边界
RLHF 和 DPO 都是塑造行为的工具，不是关于模型永远可靠的保证。真实产品仍需要约束权限、记录可审查的执行结果，并用失败样本持续更新评估。
读这类论文时，重点不是记住算法缩写，而是追问：偏好来自谁，在哪些任务上收集，又怎样证明优化后的行为符合实际需要？
原始资料与阅读路径
本文为荒岛编辑部原创技术解读，公式示例与工程判断用于解释原理，不是对论文实验的独立复现。历史事实按上述原始资料核验，资料截止 2026 年 9 月 5 日。
