SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable精修版

答案相关性

Answer Relevance · RAG evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

问路的人,只收到一首赞美街道的诗

外乡人第一次来到柳桥镇,想去医馆。他拦住一位很会说话的向导,问:医馆怎么走?向导立刻开始介绍柳桥镇的街道,说东街历史悠久,西街商铺繁华,南桥风景最好,北门曾经修过三次。

外乡人听得出来,向导懂很多。他说得流畅、礼貌,也没有明显错误。可听完一大段,外乡人还是站在原地,不知道医馆在哪边。

向导不觉得自己答错了。他说,我讲的都是镇上的真实信息,而且和道路有关。外乡人说,我问的是去医馆的路,不是柳桥镇街道的历史。

旁边卖茶的老人听见后,拿来一张小纸。她在纸上写:从这里往前走两条街,看到石狮右转,经过药铺,再走五十步就是医馆。外乡人照着走,很快到了。

镇长后来请向导和老人一起复盘。向导的信息更丰富,老人的回答更短。可对那个问题来说,老人更有用。因为她的每一句都贴着外乡人的意图:怎么到医馆。

从那以后,镇上的向导不再只比谁知道得多,也不只比谁说得漂亮。他们开始问:这句话有没有推进提问者的目标?有没有直接回应问题?有没有把注意力带偏?

柳桥镇学到的是:相关,不是和话题沾边;相关,是对问题有用。

揭示

这个故事讲的是:答案相关性

答案相关性 Answer Relevance 衡量模型回答是否真正回应用户问题和任务目标。一个回答可以流畅、真实、信息丰富,却仍然不相关,因为它没有解决用户真正问的事。对 RAG 和 Agent 系统来说,答案相关性是评估输出质量的重要指标,用来避免系统给出看似合理但偏离任务的回答。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 外乡人问医馆怎么走:用户提出的明确任务或问题
  • 向导讲街道历史:内容和主题相关,但没有回答用户真正需求
  • 真实但无用的信息:事实正确不等于答案相关
  • 卖茶老人给路线:直接服务于用户意图的回答
  • 每一句都贴着目标:高答案相关性的表现
  • 有没有推进提问者目标:评估 answer relevance 的核心问题
  • 相关不是沾边:语义相近不等于任务相关

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

relevancesemantic similarity