SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

评测基准和基准污染,一个是你手里的尺子,一个是尺子被人提前看过了

评测基准是用于衡量模型能力的一套标准化测试集和评分方法。基准污染是模型的训练数据中包含了基准测试的题目或高度近似的题目,导致评测分数不能真实反映模型能力。一个干净的基准是一把没弯曲的尺子,被污染的基准是一把你提前量好身高再去测的尺子。

寓言

书院会考有两样东西,一样是卷子,一样是有人考前偷了卷子

江东书院每年秋天办一次会考,三大书院的弟子集中到一处,同一张卷子、同一天考。卷子是五经义注和策论各一篇,题目由书院山长们提前一个月抽签决定,封存在铜盒里。这张卷子就是评测基准——它定义了在什么尺度上、用什么标准来衡量每个书院弟子的经义和策论水平。

第四年出了乱子。成绩公布那天,青云书院的弟子包揽了前五名,而且得分高得离谱——策论题的思路和辞藻一致得像一个人写的。临江书院的山长觉得不对劲,派人去青云书院查阅他们弟子的日常课业。课业本里有一段策论写作训练,题目几乎和会考卷子一模一样,只改了两个字。

追问之下发现了一个细节:青云书院的祭酒半年前受邀去江东书院参与过一次教学讨论,临走时无意中看到了山长桌上的会考题目草稿。草稿当然和最终版本有出入,但方向和材料是同一套。祭酒回去后给弟子们布置了一道「模拟题」——他不是故意泄题,但他看过的草稿已经是题目空间的精确轮廓。

临江书院的陈山长写了封信给江东书院的山长评议会,信里只提了一个问题:这次会考的排名还能不能当成真实能力排名来用?如果能,那明年各个书院都会想办法提前接触题目草稿,会考就变成了一场谁和出题人更近的比赛。如果不能,我们就需要一个新的机制来证明卷子还没被看过。

评议会连夜开了会,定出两条新规。第一条:从出题到封存之间,不允许任何外部人员进入题目讨论范围——取消邀请外部书院参与讨论的惯例。第二条:会考卷子不再沿用往年题库中的经典题目,每年至少更换三分之二的题目,并在考后公布新题来源,以证明它们没有提前进入各书院的日常课业。

第二年会考前,陈山长又补了一道检查:各书院要交一份近半年课业题目目录,由评议会抽查是否和会考方向重合。若发现某题已经在课业里反复练过,即便没有原题泄露,也要从总分统计中剔除,避免把熟题记忆算成真实能力。

从那以后,会考不再只看分数,还看卷子有没有被提前接触、题目有没有被相似训练覆盖。污染检测不是一次性工作——每次换题、每次扩充课业材料,都要重新查一遍。否则排名越漂亮,越可能只是泄题链条越隐蔽。

评测基准

标准化测试集、评分方法和报告协议的组合,用于衡量模型在特定任务上的能力。基准的设计要点在于题目代表性、覆盖面、难度梯度和评分一致性。

基准污染

训练数据中包含基准测试题目或高度近似内容,导致评测分数高估真实能力。污染可以是直接抄袭也可以是通过相近表述产生的间接信息泄露。

故事对应

  • 密封在铜盒里的会考卷子:评测基准——标准化的测量工具
  • 青云书院包揽前五:被污染的评测结果——分数不代表真实能力
  • 祭酒无意中看到题目草稿:间接污染的一种典型路径——不是偷题,是信息泄露
  • 陈山长的质问:被污染的排名是否还能当能力排名使用
  • 评议会新规两条:训练数据隔离和题目独立性验证
  • HumanEval/MMLU 的相同问题:业界基准污染的经典案例
  • 书院方案与业界方法同源:题目保密、污染扫描、标记去除

落到模型选型和能力验证

对比模型时,只盯排行榜上的数字远远不够——先问一句:这个基准有没有被污染过。业内对主流模型已有公开的去污染检查报告,参考这些报告来判断分数中多少是能力、多少是记忆。如果你们团队自建内部评测集,把题目锁在私有环境里,不要在同一个语料库中同时存放训练数据和测试题目。每次模型更新后跑一遍污染检测:新训练数据中是否混入了评测题目或其 paraphrase 版本。一个干净的基准给你一次真实的排名,一个污染的基准给你一场自欺欺人的表演。