从预测文字到遵循指令：RLHF 改变了什么，又没有解决什么

2026-09-09 分类：Ai 标签：技术解读、大模型、产品

原载：荒岛书生 · 原文 · 作者：荒岛书生 · 原始发布日期：2026-09-09。迁移核对：2026-11-07，依据当前公开正文；保留原文资料截止日期、作者观点与核验说明，不将历史资料视作今日消息。

会续写的模型未必是好助手

给一个只熟悉文本续写的模型输入问题，它可能写出一段答案，也可能继续模仿论坛里的争论，甚至补出另一个提问。用户想要的是完成要求，而训练文本包含许多不同目标的表达。模型的学习目标与用户的使用目标之间，存在需要处理的距离。

2022 年 InstructGPT 论文用人类反馈训练模型，展示了改善遵循指令的一条路线。同年 ChatGPT 把这类能力放进易于追问的对话产品。训练方法与产品入口是不同层面的变化，二者共同影响用户体验。InstructGPT；ChatGPT 原始公告。

监督微调提供“面对这种请求，可以这样回答”的示范。偏好数据让标注者在候选回答之间选择，奖励模型尝试学习这种相对偏好。后续优化再利用奖励信号调整输出倾向。这是原论文所描述的典型流程，并不意味着所有后训练系统都必须采用同样步骤。

这些信号的意义可以用编辑过程理解：示范像给出范文，排序像比较两个版本，优化像反复练习获得较高评价的表达方式。比喻的边界也很清楚，模型学到的是可计算信号，不是自动获得了一个全面、公正的价值判断者。

一段回答可能文风自然、条理清楚，却引用了不存在的研究；另一段回答谨慎说明不知道，看起来没有那么令人满意。如果标注与评估过分奖励自信、完整或顺从，系统就可能学会在没有足够证据时也给出看似有用的内容。

这里并不是说偏好训练必然导致虚假，而是提醒目标设计存在取舍。真实性需要可追溯来源或可执行检查；遵循指令需要理解用户要求；有帮助还取决于用户所处情境。把三项合并成一个喜好分数，会让错误难以诊断。

用户不断追问时，可能把一个错误前提逐渐固定下来。助手若只追随每轮表述，容易让整段对话越来越偏离事实。因此评价不能只有单轮题目，还要包含纠错、前提冲突、信息不足和用户改变要求等情形。

例如用户先说“这家公司已经开源了模型”，随后要求比较商业许可。一个有用的助手应先检查开放的是权重、代码还是完整训练材料，而不是把用户的措辞当成已经核实的事实。这个案例是本文的评估建议，不是对某款产品的测试结论。

可以把任务完成度、事实支持和约束遵循分别打分。若输出格式正确但事实错误，应归为事实失败；若答案正确却越过权限，应归为行为失败。分类记录能帮助团队决定应该改数据、改提示、增加工具，还是调整流程。

还要设置“允许不知道”的题目。知识不足时提出关键澄清，通常比用虚构细节补齐更有价值。与此同时，不能把所有困难任务都转成人工确认，否则只是把工作退还给用户。界限应由任务代价和可验证程度决定。

本站的判断是，后训练使模型更适合被人使用，但可靠产品仍要让不同层各司其职。来源查询、权限控制、结果校验和行为记录，不该全部压在一次语言生成上。

这解释了为什么一个“回答更好”的新模型发布之后，企业系统仍然需要更新评估集。模型的表达习惯与拒绝边界改变，会影响已有提示和工作流。验证实际任务，比根据一次闲聊判断升级是否成功更可靠。

资料核验：2026-09-09。本文为基于公开资料的原创整理。