SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable精修版

评测框架

Evaluation Harness · Quality assurance

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

赛马不是只看一次冲刺

红土镇有一匹新马,跑得很快。第一次试跑,它从南门冲到北门,只用了半刻钟。马主很得意,说这就是镇上最快的马,应该立刻让它去送急信。

老驯马师没有点头。他问:雨天跑过吗?夜里跑过吗?背重包跑过吗?遇到狗叫会不会惊?走山路会不会崴脚?马主说,第一次已经跑得很快,还要试这么多吗?

老驯马师把马带到训练场。场上有泥地、石路、窄桥、急弯、假鼓声、突然升起的旗帜,还有不同重量的包裹。每匹要送信的马,都必须一项项跑过,并记录时间、失误、恢复情况和是否需要人拉住缰绳。

新马在平路上仍然很快,但到了窄桥会犹豫,听到鼓声会偏向左边,背重包时最后一段明显慢下来。它不是坏马,只是还不能只凭一次冲刺就承担急信。

马主这才明白,训练场不是为了羞辱马,而是为了知道它在哪些场景可靠,在哪些场景需要训练,哪些任务现在还不能交给它。

后来,新马经过几轮训练,再回到同一套场地。窄桥快了,鼓声不再惊,重包仍然慢。老驯马师据此决定:它可以送普通信,可以在晴天送急信,但暂时不送山路重包。

红土镇从此不再用一次漂亮冲刺决定一匹马的命运。真正的好马,要在一套可重复的场地里,反复面对真实会发生的情况。

揭示

这个故事讲的是:评测框架

评测框架 Evaluation Harness 是一套可重复运行的测试环境和用例集合,用来评估模型或 Agent 在不同任务、边界条件、工具调用、延迟、质量和失败场景下的表现。它让团队能在变更前后对比质量,而不是靠一次演示或主观感觉判断系统是否变好。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 新马:新的模型、Agent、提示词或工具链
  • 一次冲刺:单次 demo 或少量样例,看起来效果很好但不代表稳定
  • 泥地、石路、窄桥、鼓声:多样化测试用例、边界条件和压力场景
  • 记录时间、失误、恢复情况:评测指标,包括准确率、延迟、失败率、恢复能力等
  • 几轮训练后再跑同一套场地:变更前后用同一评测集回归测试
  • 可以送普通信但不送山路重包:根据评测结果定义适用范围和限制
  • 可重复的场地:Evaluation Harness 的核心价值是稳定、可复现、可比较

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

guardrailsregression testingagent evalsworkflowsreliability