SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

答案有没有照材料说和有没有答到问题

RAG 输出要同时经得起两种检查:有没有忠于给定材料,有没有真正回应用户问题。忠实但跑题会浪费用户时间,相关但无凭据会制造风险。

寓言

照卷宗抄的书记和会接话的书记

城南公所设了咨询窗,百姓拿着问题来问,书记只能根据柜里的卷宗作答。第一位书记很谨慎,卷宗写什么他就抄什么,连措辞都不敢改。旁人说他可靠,他也以此自守。

一天有人问,店铺招牌能不能伸到街檐外。书记翻到一页关于招牌颜色的规定,认真抄了三段,末尾还注明出处。来人听完更困惑,因为他问的是位置,不是颜色。书记没有编话,却没有解决问题。

第二位书记很会听人。他听到街檐外三个字,马上解释通行宽度、邻里投诉和审批流程,来人频频点头。可其中一条“雨季不得悬挂”并不在卷宗里,只是他从别处听来的习惯。话很贴题,却没有凭据。

两位书记都被掌柜叫去复盘。第一位不服,说自己每句话都能在卷宗里找到;第二位也不服,说来人需要的正是他的回答。掌柜让他们把答案分成两列:一列标出对应卷宗,一列标出对应问题。

结果很清楚。第一位的每句话都有出处,却只有一小段碰到招牌位置;第二位多数段落回应了问题,却有几句找不到卷宗。一个让用户带着正确材料离开,一个让用户带着可能错误的建议离开。

公所后来改了流程。书记先确认问题的核心,再只取能回答该核心的卷宗;写答案时,每个关键判断都要能回到材料。遇到材料没有覆盖的地方,宁可说卷宗未载,也不拿听来的经验补成规定。

窗口前的争执少了。百姓不只要一句听起来顺的答复,也不要一堆没有命中问题的抄文。可靠的回答,既要踩在材料上,也要落在问题上。 掌柜还要求书记保留空白的勇气。若卷宗只能回答一半,就把能答的部分说清,把缺口留给人工核验,别为了显得周到把缺口填成事实。每周复盘时,他们把错答分成跑题和无据两篮,修法才不会混乱。两篮分开后,取卷的人和写答的人也各自知道该改哪里。

忠实性

忠实性检查答案是否被给定上下文支持,重点防止模型把材料没有说的话写成事实或结论。

答案相关性

答案相关性检查输出是否回应用户问题,重点防止答案虽然有依据却偏离提问目标、缺少可用信息。

故事对应

  • 照卷宗抄却答招牌颜色:高忠实性但低答案相关性
  • 会接话却加入雨季规则:高相关性但低忠实性
  • 把答案标回卷宗:检查 faithfulness
  • 把答案标回问题核心:检查 answer relevance
  • 材料未载就明说:真实 RAG 系统处理证据缺口的安全做法

落到输出质量评估里

评估 RAG 时不要只问“答案好不好”。先看关键断言是否都有上下文支持,再看回答是否命中用户意图。客服、法务、采购、医疗等场景尤其要分开记录:相关但无凭据是合规风险,忠实但跑题是体验和效率问题。