SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

评测和评测基准

评测是你对自己系统的一次质量检查,题目、流程、打分标准都由你定。评测基准是一套公开的标准试卷,所有人都用同一套题来比分数。把自定义评测当成行业通行证,会高估自己的真实水平。

寓言

自家体检和行业统考

区里有个拳馆,师傅姓秦,教了二十几个徒弟。每个月秦师傅组织一次馆内测评:让徒弟打一套拳,他站在旁边打分。打了半年,所有徒弟都拿了高分。秦师傅很欣慰,觉得自己的教学水平在全城排前几。

年底,区里办了一场拳术大比武,统一规则、统一裁判、所有拳馆的徒弟混在一起比。秦师傅的徒弟第一轮就被淘汰了六个。秦师傅当场脸就黑了。

回去复盘,秦师傅发现了两个问题。第一,他自己的打分标准偏软,强调动作流畅度,但比武更看重发力精度和对抗反应。第二,他自己的题库太窄了,半年测评用的都是同一套基本套路,徒弟们练熟了不等于真能打。

第二年,秦师傅改了两件事。他把馆内测评拆成了两块:一块叫「训练检查」,照常用他自己的标准看基本功和进步幅度。另一块叫「对抗摸底」,借用区比武的规则和评分表,请别的拳馆的师傅过来当裁判,按实战标准打分。

他还找了去年比武的录像,把每一场的对抗场景拆成了训练案例。徒弟们不再只练套路,而是先打馆内训练检查,过关以后再进对抗摸底,摸底的分数跟外部比武的成绩高度吻合。

到了年底的区比武,秦师傅的徒弟拿了两个单项前三。秦师傅在赛后分享时说了一句:馆内测评是自己跟自己比,目的是改进教学。比武是跟别人比,目的是验证真实水平。两个都要,但不能把第一个的结果当成第二个的成绩。

后来有人问他,既然比武成绩最重要,为什么还要保留馆内测评?秦师傅说:比武一年只有一次,我得靠日常测评来调整训练方向。但我不会拿训练检查的分数去跟别的拳馆吹牛。

后来书院把公榜和自考都留着:公榜看外头排位,自考看自家学生能不能办成院里真正的差事。 后来院长再看榜时,会先问这张榜考的是什么,再问自家要交付的是什么。两把尺子终于各归各位。

评测 (Evaluation/Evals)

团队自己设计题目、标准、流程进行的系统质量评估。灵活、可定制、高频,用来指导内部迭代。和外部没有可比性。

评测基准 (Benchmark)

公开、标准化、可复现的测试集和评分协议,供不同系统横向比较。牺牲了定制性,换取了可比性和公信力。

故事对应

  • 馆内测评:Evaluation,自定义标准,自己打分,用于内部改进。
  • 区比武:Benchmark,统一标准,第三方裁判,用于横向比较。
  • 测评标准偏软:自定义评测的评分标准如果与真实业务需求不对齐,分数再高也没用。
  • 训练检查 + 对抗摸底:内部分层的评测评体系——一部分跟踪进步,一部分模拟实战。

落到项目里

内部评测和公开 Benchmark 都要做,但用途不同。内部评测每周跑一次,监控迭代有没有退步,题目要覆盖自己的典型业务场景。公开 Benchmark 每季度跑一次,用来对外说明水平和跟踪行业进展。最忌讳的是只跑自己的评测、分数好看、一上客户真实场景就崩。自己出的卷子只能证明你练过这道题,不能证明你会做别的题。