SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable

评测基准

Benchmark · Evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

山谷里的灯塔镇里那块总被挪错的油灯刻度

山谷里的灯塔镇有一套用了很多年的办法。守塔人每天清早把油灯刻度分给送信人,谁拿到什么,就去做什么。小城不大,事情也不急,这套办法很少出错。

后来,来的人多了,订单变厚了,工具也多了。大家都说自己做得好,却没有同一把尺。送信人开始发现,最难的不是干活,而是不知道该先听哪一个指令。

有人提议用一个简单办法:规定每晚必须点亮同样次数。头几天确实有效,所有人都看得见规则,队伍也安静了一些。守塔人以为问题解决了。

很快,人们学会了顺着新规则行动。急活被包装成普通活,普通活被写成急活;有人为了让自己的事先被处理,故意多敲几次三短一长的灯号。看起来更有秩序,实际却更难判断。

于是第二条规矩来了:凡是和evaluation有关的事,一律优先。结果新的拥堵又出现了。因为很多事情表面上都能和evaluation沾边,真正需要处理的差异反而被抹平。

有个年轻学徒没有继续加规矩。他连续三晚坐在门口,记录每块油灯刻度从哪里来、被谁拿走、用了什么工具、什么时候回来、回来后又改了几次。

第四天,他把记录摊开给守塔人看。问题不在某个人偷懒,也不在leaderboard写得不够漂亮。问题是城里只有入口,没有过程;只有命令,没有状态;只有结果,没有回路。

他们最后没有再增加一条口号,而是把灯号、天气、船只位置和事后记录放在同一本航海簿里。从那以后,三短一长的灯号不再代表谁喊得响,而代表一件事在系统里走到了哪一步。

这时,老工匠才说:我们真正缺的不是更聪明的人,而是一种能让复杂工作稳定流动的结构。没有可复查的衡量,改进只是在凭感觉。

揭示

这个故事讲的是:评测基准

A standardized task, dataset, or suite used to compare model capabilities and limitations.

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 山谷里的灯塔镇:一个真实运行中的 AI / Agent 业务系统
  • 油灯刻度:任务、请求、上下文或需要被处理的信息单元
  • 规定每晚必须点亮同样次数:只改表层规则、指标或提示词的天真修补
  • 三短一长的灯号:系统里的状态信号、触发条件或可观测线索
  • 年轻学徒的记录:把过程、状态、责任和反馈留下来的工程化做法
  • 把灯号、天气、船只位置和事后记录放在同一本航海簿里:围绕 评测基准 建立更稳定的工作结构
  • evaluation, leaderboard, test set, MMLU:这个概念周围常一起出现的相邻问题

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

evaluationleaderboardtest setMMLUHumanEval