SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

评测基准和黄金数据集,一个是一整套考卷加评分规则,一个是标准答案本

评测基准是一整套测量工具的组合——测试集、评分方法、指标定义和报告格式,用来横向比较多模型能力。黄金数据集是一组经过人工或专家标注的高质量样本,每个样本带有确定的「正确」标签或参考输出。基准可能包含多套黄金数据集,但黄金数据集本身不是基准——它不在模型间做排名,它只提供地面真值。

寓言

翰林院有两种编修成果,一种排座次发榜,一种定标准答案

翰林院每年春秋编两套文书。春编的叫「科场题册」——包含二十套经义题和十套策论题,每题附带评分要点和分档标准,考完后按总分排榜公布各省学子的名次。秋编的叫「真解集」——翰林院从各省征集上来的优秀答卷里精选一百篇,每篇经过三位编修分别批注,在其中最具共识的答案下画一条红线,定为该题的标准解。

科场题册的职责很明确:它对考生的能力做横向排名。今年用到的题目明年要换掉三分之一,因为考过的题目如果重复用,考生会提前备考,分数不能反映真实能力。评分要点每年也会微调,引入新的题型和新的评分维度。它的价值在于比较和排序。

真解集的逻辑完全不同。它不排名——它就一百道题各配一个标准答案。这组答案的价值并非告诉考生排第几名,关键在于给将来的评卷提供一个锚点——当评卷人对一份新答卷的得分犹豫不决时,他可以把这份答卷和真解集中的标准答案放在一起对照。标准答案是固定的,直到有足够的证据证明答案需要更新才会重新定。

这套双轨制运行多年后出了一个管理灾难。新来的编修总管认为科场题册和真解集太像了——都是题目加答案的集合——提议合并为一部「翰林总集」,每道题既有评分标准又有标志答案,统一管理。合并初看起来省事,但一年后出了问题。

科场题册中部分题目的标准答案被考生泄露,考生在备考机构里对着真解集的原题背诵答案。那一年的科场名次严重失真——高分不是能力高的结果,是记忆力好的结果。编修总管被迫恢复双轨制,并加了一条新规:科场题册的题目来源不能和真解集的题目来源重叠。如果真解集已经被公开,科场题册不能用其中的题目。

恢复双轨制后,翰林院又加了一道时间边界:真解集可以拿给编修和评卷人平时校准尺度,科场题册只能在考试当天启封。前者是锚点,帮助大家知道什么叫好答案;后者是赛场,负责比较谁真正会写。

从那以后,编修们不再说「反正都是题目加答案」。题册用于最终排名,真解集用于日常校准;一个要防泄,一个要稳定。把两者混在一起,短期看省事,长期看会让所有高分都带上提前见题的嫌疑。

评测基准

标准化测试集、评分方法和报告框架的组合,用于横向比较不同模型的能力。核心功能是排名和对比,题目需要定期更新以防止过时和污染。

黄金数据集

经过专家标注的高质量样本集合,每个样本带有确定的标准答案或参考输出。不参与排名,主要用于模型验证、回归测试和提供标注质量的标准锚点。

故事对应

  • 科场题册:基准——排名和比较的工具,题目需要定期更换
  • 真解集:黄金数据集——提供标准答案的固定锚点,不参与排名
  • 合并为翰林总集的管理灾难:基准和黄金数据集混用的风险
  • 考题泄露导致名次失真:基准题目与黄金集重合引起的污染效应
  • 恢复双轨制加隔离规则:基准和黄金集的题目来源必须独立
  • 训练中用黄金集验证 vs 不用基准测:开发流程中两者使用边界的区别
  • ML 界的精确对应:MMLU 用于排名 vs SQuAD 用于验证的经典分工

落到模型研发流程和评测体系搭建

搭建内部评测体系时,必须把黄金数据集和基准集物理隔离。黄金数据集放在开发环境中用于迭代验证——每一轮训练或提示词优化后用黄金集测试,看质量是否稳定或提升。基准集放在独立的安全环境中,只在里程碑节点上运行——模型冻结后、发布评审前。如果你在开发过程中反复用基准集做验证,你实际上已经在向测试集泄露信息了——最终跑出来的分数偏高,但真实用户场景会给你泼冷水。自建黄金数据集时投入人天做专家标注——高质量的标准答案是一次性成本,反复验证的收益覆盖整个模型生命周期。