← 返回概念辨析

Concept Contrast Fable

发现幻觉和评估产生幻觉的风险

幻觉检测是事后或实时抓出已经产生的不实内容,幻觉风险评估是提前判断某个场景、模型或数据组合容易产生幻觉的可能性。只抓现行治标,只做分析不担保不出现新花样。

寓言

捕快和大理寺的分析师

京城出现不少假账房。他们给商户做账时编数字,有些记错,有些故意欺瞒。捕快在街上巡查,发现假账本就封存查办。

抓得很勤,商户却仍不安。假账房手法在变:有的在模糊交易上做手脚,有的利用新商户不懂规矩混水摸鱼。捕快像追影子一样奔忙。

大理寺派来一批分析师,不抓具体案子,只翻过往几百起假账。他们发现假账高发在三处:账期特别紧、经手人超过三位、使用新币种。

分析师画出风险地图,标出哪些账目类型、时段和行业最容易出事。捕快开始按图巡逻,紧账期加派人手,新币种交易重点抽查,经手人多的账目优先复核。

一次新骗法出现:假账房伪造旧币种交易,恰好绕开地图。捕快没能提前发现,因为地图只看见历史。分析师连夜把新案卷补进去,巡逻路线随之改变。

京城后来保留两套办法。捕快负责抓已经出现的假账,分析师负责判断哪里更可能冒出新假账。前者减少已发生的错,后者缩小盲区;两者互相喂回发现,才跟得上骗法变化。

府尹也提醒商户,不要把地图当成护身符。地图能告诉大家哪里更危险,却不能替捕快审每一本账;捕快能抓住眼前错账,却不能说明下一种骗法会从哪来。

后来每次抓到新假账,捕快都把案卷交给分析师;每次地图变红,分析师也告诉捕快先去哪条街。京城靠这两种工作循环,把错误出现后的追捕和出现前的布防接起来。 后来新手入门时,老师傅不再先讲抽象名目,而是让他们复盘那次失误:原先哪里靠直觉,第一次修补为什么不够,新的安排怎样把风险留在能检查的位置。等他们能说清这些细节,还能指出什么时候该沿用、什么时候该升级,才算真正懂了这套办法。 后来他们还把这套办法交给新人演练:先让新人按旧办法做一遍,看错误怎样出现;再按新规矩重做,看哪一步被提前拦住,哪一步留下了证据。新人若只会背名字,仍会在相似场景里乱用;只有能说出适用边界、代价和失败后的补救,才被允许独立接活。

幻觉检测

通过规则、模型或人工审查,实时或事后发现模型输出中的事实错误、逻辑矛盾和不实内容。

幻觉风险

评估特定场景、数据组合、模型选择或任务类型下产生幻觉的可能性和严重程度,用于预防和优先级排序。

故事对应

  • 捕快查封假账:幻觉检测中的实时或事后审查
  • 分析师画出风险地图:幻觉风险评估对场景、数据和模型的事前分析
  • 紧账期加派捕快:高风险场景下的检测资源倾斜
  • 新式骗法绕开地图:风险评估无法穷尽所有未知模式
  • 捕快反馈更新地图:检测结果持续反哺风险评估模型

落到 Agent 安全上线

高风险场景(医疗、法务、金融)先做幻觉风险评估,确定哪些查询类型和知识域最容易出问题,再针对高风险域部署更强的检测规则和人工抽查。上线后把检测发现的新幻觉模式持续回写到风险评估里。