SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

先照答案练和照着偏好打分再练

监督微调用标注好的问答对直接训练模型,RLHF 先用人类偏好训练奖励模型、再用强化学习优化模型输出。两条步骤常常出现在同一个训练管线里,但一个教模型学正确答案,一个教模型在多种合理答案里挑更受偏好的。

寓言

两个教书先生,一个背范文,一个改卷子

镇上新开了两间私塾,用的教学方法完全不同。东塾的秦先生手里有一千篇范文——每道题都有标准答案。学生背一篇,秦先生对照范文逐字改,错了扣分、对了加分。西塾的方先生没有范文,他让学生自己写,写完后交给几个阅卷先生打分——不是对不对,是好还是更好。分高的答案录入卷库,下次写类似的题,学生先看卷库里哪种风格得分高,再自己调整。

县试头一年,两间私塾的学生都考进了府学,成绩不相上下。秦先生的学生默写准确,引经据典一字不差。方先生的学生文笔流畅,有些段落考官在卷子上画了圈批了一个妙字。镇上家长两头都想占,开始讨论哪个先生教法更好。

矛盾出现在接下来的科试。题目从默写经文变成了策论——请分析当前漕运三弊并提出改进方案。没有标准答案。秦先生的学生在试卷上套用了范文里治水的三段论,写得很工整但跟漕运实际情况对不上。方先生的学生没有范文可以背,但卷库里存了之前阅卷先生偏好的策论风格,照着那个方向写了,大部分踩到了采分点。

秦先生找到方先生,问他那套教学法能不能也教自己的学生。方先生反问了一句:你的学生先学会看范文、把基本答案写对,再进我的卷库系统练偏好,效果会不会更好?秦先生试着把两个阶段串起来——前三个月背范文打底,后两个月进卷库练偏好。下一届学生果然在策论和默写两类题上都拿了高分。

有一个细节秦先生后悔没早注意:他的学生在背范文阶段,偶尔会记住范文里的错误——比如范文把洛阳粮仓的容量写成十万石,实际是八万石。这个错误进入学生的基础知识之后,即便后面进卷库练偏好,也没人意识到基数错了,大家一起在错误答案上优化偏好排序,越练越偏离实际情况。

私塾后来在课程表上画了一条线:基础答案准确性在左,偏好优化在右。左边的教材需要定期核查,右边偏好模型也需要定期校准。两个阶段不能混成一个阶段,也不能跳过左边的核查直接进右边的优化。

秦先生的学徒后来把这两步做成了教学法:学生先看到正确答案什么样,再去看阅卷先生的偏好是什么。两个阶段用不同的材料、不同的评估方式、不同的纠错机制。

监督微调

用标注好的输入输出对直接训练模型,让模型学习具体任务的标准答案。依赖高质量的标注数据,是 RLHF 训练流程中常见的第一阶段。

基于人类反馈的强化学习

先收集人类对模型输出的偏好排序来训练奖励模型,再用强化学习算法优化模型输出以获得更高奖励。不教标准答案,教模型如何在合理选项中选更受偏好的。

故事对应

  • 秦先生背范文:SFT,用标准答案对直接训练
  • 方先生卷库打分:RLHF,用人类偏好训练奖励模型再优化
  • 策论考试暴露差异:SFT 依赖标准答案的场景外泛化有限
  • 先背范文再进卷库:SFT 和 RLHF 组成两阶段训练管线
  • 范文里的错误基数:SFT 阶段的数据错误会传导到 RLHF 阶段
  • 画一条线分左右:两个阶段的评估指标和纠错机制需要独立设计

落到大模型训练管线设计

设计训练流程时,先问数据形态——如果有高质量的标准答案对,SFT 先打底;如果只有偏好排序和比较数据,RLHF 是必经之路。大多数生产级管线是 SFT 在前、RLHF 在后,顺序很重要——SFT 阶段的数据错误会被 RLHF 阶段的偏好优化放大。两个阶段的评估应该分开:SFT 看准确率,RLHF 看偏好评级或对抗胜率。