SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

发现幻觉和评估产生幻觉的风险

幻觉检测是事后或实时抓出已经产生的不实内容,幻觉风险评估是提前判断某个场景、模型或数据组合容易产生幻觉的可能性。只抓现行治标,只做分析不担保不出现新花样。

寓言

捕快和大理寺的分析师

京城出现了不少假账房。他们给商户做账时编造数字,有些是因为记错,有些是故意欺瞒。捕快专门在街上巡查,发现假账本就封存查办。抓得很快,商户也放心,觉得有人在盯着。

可假账房还是越来越多,手法也在变。有的在模糊交易上做手脚,有的利用新商户不懂规矩混水摸鱼。捕快抓得勤,新人冒得也快,京城的账房市场始终不安稳。

大理寺派了一批分析师,不抓具体案子,而是翻阅过往几百起假账记录。他们发现假账高发在三种情况里:账期特别紧的交易、经手人超过三位的单据、以及用新币种结算的买卖。分析师画出一张风险地图,标出哪些账目类型、哪些时段、哪些行业出假账最多。

捕快开始按分析师的地图巡逻。紧账期加派人手,新币种交易标记为重点抽查,经手人多的账目优先复核。假账并没有消失,但发现速度变快了。捕快不再满街乱转,分析师的地图让警力铺在了最容易出事的地方。

一次新式骗法出现:假账房学会了伪造旧币种交易记录,恰好绕开了分析师画的所有高风险区。捕快没能提前发现,因为风险地图只基于历史数据。分析师连夜更新模型,把旧币种伪造也纳入特征。地图变了,巡逻路线跟着变。

京城后来保留了两套办法。捕快负责抓住已经出现的假账,分析师负责更新哪里还可能冒出新假账。两套办法彼此牵制:地图让捕快不瞎跑,捕快的反馈让地图不再停在过去。

府尹后来对商户说清楚了两件事:有捕快在,已有的假账会越来越少;有分析师在,新风险的盲区会越来越小。但没有人能保证下一种骗法不会被提前预判,只能保证发现的速度和补盲区的速度比假账房进化得更快。

大理寺后来把案卷分成三色:红色案子先限权,黄色案子加复核,绿色案子事后抽查。捕快还在抓错话,但城门口已经先把容易出错的路分开。

幻觉检测

通过规则、模型或人工审查,实时或事后发现模型输出中的事实错误、逻辑矛盾和不实内容。

幻觉风险

评估特定场景、数据组合、模型选择或任务类型下产生幻觉的可能性和严重程度,用于预防和优先级排序。

故事对应

  • 捕快查封假账:幻觉检测中的实时或事后审查
  • 分析师画出风险地图:幻觉风险评估对场景、数据和模型的事前分析
  • 紧账期加派捕快:高风险场景下的检测资源倾斜
  • 新式骗法绕开地图:风险评估无法穷尽所有未知模式
  • 捕快反馈更新地图:检测结果持续反哺风险评估模型

落到 Agent 安全上线

高风险场景(医疗、法务、金融)先做幻觉风险评估,确定哪些查询类型和知识域最容易出问题,再针对高风险域部署更强的检测规则和人工抽查。上线后把检测发现的新幻觉模式持续回写到风险评估里。