← 返回概念解读

Concept Fable精修版

答案相关性

Answer Relevance · RAG evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

问路的人,只收到一首赞美街道的诗

外乡人第一次来到柳桥镇,想去医馆。他拦住一位很会说话的向导,问:医馆怎么走?

向导立刻开始介绍柳桥镇的街道,说东街历史悠久,西街商铺繁华,南桥风景最好,北门曾经修过三次。他说得流畅、礼貌,也没有明显错误。

外乡人听完仍站在原地,不知道该往哪边走。向导不觉得自己答错了:我讲的都是真信息,而且都和道路有关。外乡人追问“那我现在往哪走”,向导又补了一段城防沿革,句句有据,却仍把人留在原地。

旁边卖茶的老人拿来一张小纸,写下几句:从这里往前走两条街,看到石狮右转,经过药铺,再走五十步就是医馆。外乡人照着走,很快到了。

镇长后来请向导和老人复盘。向导的信息更多,老人说得更短。可对那个问题来说,老人更有用,因为她每一句都推进了外乡人的目标。老人也不是每次都说得少。若外乡人问医馆是否擅长骨伤,她会换成医生、时辰和诊费;她的标准不是短,而是贴着问题走。

向导仍不服,第二天换成回答“医馆为什么在北街”。这次他讲街道历史就有用了。镇长说,同一段知识,放错问题里就是绕路。

从那以后,镇上的向导不再只比谁知道得多,也不只比谁说得漂亮。他们开始问:这句话有没有直接回应提问?有没有帮对方往目标前进一步?有没有把注意力带偏?镇长让向导练习先复述目标,再删掉不能帮人行动的旁枝。留下来的信息少了,答复反而更稳。向导后来把每次答复分成两栏:必须回答的路,可能有用的背景。客人赶路时先给路线;客人闲问城史时再展开。相关性随着问题改变,不随着说话人的知识多少改变。

柳桥镇学到,相关不是和话题沾边;相关是对眼前问题有用。

揭示

这个故事讲的是:答案相关性

答案相关性 Answer Relevance 衡量模型回答是否真正回应用户问题和任务目标。一个回答可以流畅、真实、信息丰富,却仍然不相关,因为它没有解决用户真正问的事。对 RAG 和 Agent 系统来说,答案相关性是评估输出质量的重要指标,用来避免系统给出看似合理但偏离任务的回答。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 外乡人问医馆怎么走:用户提出的明确任务或问题
  • 向导讲街道历史:内容和主题相关,但没有回答用户真正需求
  • 真实但无用的信息:事实正确不等于答案相关
  • 卖茶老人给路线:直接服务于用户意图的回答
  • 每一句都贴着目标:高答案相关性的表现
  • 有没有推进提问者目标:评估 answer relevance 的核心问题
  • 相关不是沾边:语义相近不等于任务相关

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

relevancesemantic similarity

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。