寓言
两个教书先生,一个背范文,一个改卷子
镇上新开了两间私塾,用的教学方法完全不同。东塾的秦先生手里有一千篇范文——每道题都有标准答案。学生背一篇,秦先生对照范文逐字改,错了扣分、对了加分。西塾的方先生没有范文,他让学生自己写,写完后交给几个阅卷先生打分——不是对不对,是好还是更好。分高的答案录入卷库,下次写类似的题,学生先看卷库里哪种风格得分高,再自己调整。
县试头一年,两间私塾的学生都考进了府学,成绩不相上下。秦先生的学生默写准确,引经据典一字不差。方先生的学生文笔流畅,有些段落考官在卷子上画了圈批了一个妙字。镇上家长两头都想占,开始讨论哪个先生教法更好。
矛盾出现在接下来的科试。题目从默写经文变成了策论——请分析当前漕运三弊并提出改进方案。没有标准答案。秦先生的学生在试卷上套用了范文里治水的三段论,写得很工整但跟漕运实际情况对不上。方先生的学生没有范文可以背,但卷库里存了之前阅卷先生偏好的策论风格,照着那个方向写了,大部分踩到了采分点。
秦先生找到方先生,问他那套教学法能不能也教自己的学生。方先生反问了一句:你的学生先学会看范文、把基本答案写对,再进我的卷库系统练偏好,效果会不会更好?秦先生试着把两个阶段串起来——前三个月背范文打底,后两个月进卷库练偏好。下一届学生果然在策论和默写两类题上都拿了高分。
有一个细节秦先生后悔没早注意:他的学生在背范文阶段,偶尔会记住范文里的错误——比如范文把洛阳粮仓的容量写成十万石,实际是八万石。这个错误进入学生的基础知识之后,即便后面进卷库练偏好,也没人意识到基数错了,大家一起在错误答案上优化偏好排序,越练越偏离实际情况。
私塾后来在课程表上画了一条线:基础答案准确性在左,偏好优化在右。左边的教材需要定期核查,右边偏好模型也需要定期校准。两个阶段不能混成一个阶段,也不能跳过左边的核查直接进右边的优化。
秦先生的学徒后来把这两步做成了教学法:学生先看到正确答案什么样,再去看阅卷先生的偏好是什么。两个阶段用不同的材料、不同的评估方式、不同的纠错机制。