SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

幻觉检测和事实核验:一个看模型有没有胡编,一个看答案对不对

很多人把检测模型胡说和核对答案真伪当成同一件事。幻觉检测关注的是模型输出内部是否自洽、是否存在编造痕迹;事实核验关注的是输出和外部知识库或真实世界是否一致。两个指标同时好看,质量才真正过关。

寓言

质检车间的两道灯

精密零件厂有一条终检线。第一道灯检查零件本身有没有裂纹、气孔、尺寸偏差——这些缺陷只要你仔细看零件本身就能发现。第二道灯把零件装进配套模具里试合一下,看它能不能卡进真实的使用场景里。两道灯各管各的,报告也是分开的。

有一年厂里换了位新质检主管。她看报表的时候觉得两盏灯的数据太分散,提了个方案:把两道检查合并成一道综合评分,从一到十打分。操作工觉得省事,客户看了也觉得清爽。没人追问合并之后,那些本身没裂纹但装不进模具的零件,到底是被哪一盏灯放过去的。

第三季度,一家汽车厂的投诉集中爆发了。零件外观光滑、尺寸也合格,但装到发动机上之后振动超标。退回来看,这些零件全都拿到了综合评分的及格线——第一道灯没发现问题,第二道灯的试合结果被综合分平均掉了。

车间把那批零件重新单独跑了一遍才发现规律:凡是模具试合失败的零件,大部分自身没有可见缺陷,但在第一道灯下也看不出问题。以前两道检查独立时,这种零件会在第二道灯被拦住;合并之后,它混在总分里溜了出去。

厂里恢复了双灯独立报告制度。第一道灯只管零件自身够不够好,第二道灯只回答能不能用在实际场景里。两个结果不再相加,也不互相补偿。

恢复之后又发现一种有趣的情况:有些零件在第二道灯下表现良好,但第一道灯检出内部气泡。以前综合评分高就能掩盖,现在气泡在独立报告里直接标红,采购方可以自己判断能不能接受。

质检手册更新了一句话:自身缺陷和场景适配是两笔账。第一道灯帮你防次品,第二道灯帮你防误用。两盏灯都亮着,交出去的零件才算真正合格。 后来学徒每次查错,都会先问这是抓到胡话,还是核完事实。

幻觉检测

判断模型输出是否存在编造、矛盾或不一致,检查对象是输出自身的可信度。

事实核验

将模型输出与外部知识源或真实数据做比对,判断内容是否符合客观事实。

故事对应

  • 第一道灯检查零件自身缺陷:幻觉检测,看输出是否自洽、有无编造
  • 第二道灯试合模具:事实核验,看输出是否与外部事实一致
  • 综合评分掩盖了装不进模具的问题:合并指标让人看不到真实质量分布
  • 巡夜人听出胡话:hallucination detection 先发现可疑输出
  • 账房逐项查账:fact verification 需要拿外部事实逐条核对

落到 Agent 项目里

别用一个“准确率”指标同时覆盖幻觉和事实两类问题。幻觉检测适合用自洽性、编造率来跟踪;事实核验需要独立的知识库对账流程。两类指标分别设阈值,分别触发告警,才能在质量出问题时一眼看清是哪条线断了。