← 返回概念辨析

Concept Contrast Fable

幻觉检测和事实核验:一个看模型有没有胡编,一个看答案对不对

很多人把检测模型胡说和核对答案真伪当成同一件事。幻觉检测关注的是模型输出内部是否自洽、是否存在编造痕迹;事实核验关注的是输出和外部知识库或真实世界是否一致。两个指标同时好看,质量才真正过关。

寓言

质检车间的两道灯

精密零件厂雇了一位报工书记,每天把师傅口述的生产情况写成报告。他文笔流畅,掌柜很喜欢,直到一份报告写道:“三号车床已更换新轴承。”维修师傅看后吓了一跳,三号车床根本没修。

质检员先做了一件事:查报告里哪些句子像凭空编的。他把“新轴承”“夜班完成”“库存充足”逐句圈出,要求书记拿出来源。拿不出来源的,就标成可疑话。

可另一份报告让他犯难。书记写“二号车床今日产出一百二十件”,这句话有来源,是夜班口头说的;但仓库记录只有一百零八件。它不是凭空说,却仍可能不对。

老厂长把两项检查分开。第一项看报告有没有无来源、前后矛盾、听起来像编造的内容;第二项拿每个关键事实去对照工票、仓单、维修记录和师傅签字。前者抓胡话,后者核真假。

后来报告交付前,质检手册多了两栏。左栏问:这句话从哪里来,是否凭空补了细节?右栏问:即使有来源,它和可核凭证是否一致?有些句子左栏过不了,有些句子左栏能过、右栏不过。

掌柜以为圈出可疑话就够了,要求书记删掉那些句子。第二天报告变得保守,却仍可能漏掉真实但未写来源的关键信息;还有些句子看着平淡,实际数字错了。只判断像不像编的,不能证明事情真伪。

于是质检员分了两道工序。第一道找出报告里可能凭空冒出的断言,提醒掌柜哪里要小心;第二道拿维修单、仓库票和师傅签名逐项核对,确认三号车床到底修没修、库存到底多少。一个负责发现可疑,一个负责查证事实。两者都要,不能互相冒充。

书记的报告因此变短,却更可靠。厂里也不再把“听着不胡编”误当成“事实已核准”。抓住编造迹象,只是第一层筛网;把事实放回证据里核对,才决定能不能写进正式报工。

幻觉检测

判断模型输出是否存在编造、矛盾或不一致,检查对象是输出自身的可信度。

事实核验

将模型输出与外部知识源或真实数据做比对,判断内容是否符合客观事实。

故事对应

  • 第一道灯检查零件自身缺陷:幻觉检测,看输出是否自洽、有无编造
  • 第二道灯试合模具:事实核验,看输出是否与外部事实一致
  • 综合评分掩盖了装不进模具的问题:合并指标让人看不到真实质量分布
  • 巡夜人听出胡话:hallucination detection 先发现可疑输出
  • 账房逐项查账:fact verification 需要拿外部事实逐条核对

落到 Agent 项目里

别用一个“准确率”指标同时覆盖幻觉和事实两类问题。幻觉检测适合用自洽性、编造率来跟踪;事实核验需要独立的知识库对账流程。两类指标分别设阈值,分别触发告警,才能在质量出问题时一眼看清是哪条线断了。