← 返回概念辨析

Concept Contrast Fable

AI 事故和安全事故响应

AI 事故讲的是模型行为出了问题——输出有害内容、做出错误决策、产生歧视性结果。安全事故讲的是系统被入侵、数据泄露、权限被绕过。两种事故都严重,但触发条件、检测方式和响应流程不一样。

寓言

急诊室里的两种警报

城东医馆新挂了一面诊病铜镜,城西药库则常防窃贼翻墙。院判管着两摊看似相近的事:一摊是镜子给出误判后怎样止损,另一摊是药库被撬、药方被偷后怎样追查。新伙计嫌麻烦,把两本册子合成一本,觉得反正都和成败有关。

最初没人反对。两边都写成“出事登记”,值夜人只按失窃规矩锁门盘问,掌柜看见页数少了,还夸他们省事。可旺季一到,旧账忽然说不清:到底是前一摊没做完,还是后一摊没守住,谁也答不上来。

他们先补了更多章印和口号,要求每个人写得详细些。结果册子更厚,争执更多。出事时,每个人都能找到一句为自己开脱的话,却没人知道该先救哪一头。

老管事把众人叫到院里,让他们按真实经过重走一遍。凡是关心眼前动作的,放在第一本;凡是关心后续承担的,放在第二本。两本册子互相引用,却不再混成同一页。

有一回铜镜把几位病人指向同一种药,药库没有丢一味药,可病人险些被耽误。分开之后,很多旧结论改了:有些活看着热闹,其实没有挡住麻烦;有些安排平时不起眼,灾时却保住了全局。

为了防止新人再混,老管事让他们各办一件小案。只有当两本册子分别能回答自己的问题,又能在交界处互相接上,这件小案才算过关。若有人仍把两摊事写成一页,就必须回到现场重新看一遍谁先动手、谁最后担责;看不清时,宁可多问一次,也不让糊涂账过夜;因为真正出事那天,少一行分辨就会多一队人白忙。

院判把两路值守分开:窃贼案先封门查痕,误诊案先停用铜镜、复核病案、通知受影响的人。后来新人入行,老管事只让他们记一句:门锁坏了要追贼,判断伤人要先救人;同叫事故,处置顺序不能混。

AI 事故

AI 系统在运行中产生的有害或意外行为,包括错误输出、歧视性结果、模型幻觉导致的误导、AI 系统失控等。它的根源是模型行为问题,而非系统被外部攻破。

安全事故响应

针对信息系统安全事件的标准化响应流程,包括检测入侵、遏制扩散、清除威胁、恢复系统和事后溯源。它的对象是网络攻击、数据泄露、权限滥用等传统安全事件。

故事对应

  • 全院警报系统:传统安全响应体系,监控网络攻击和系统入侵。
  • AI 误诊报告没触发警报:AI 事故不在传统安全监控的覆盖范围内。
  • AI 事故响应小组:专门处理 AI 系统异常行为的团队和流程。
  • 恶意提示词导致分诊错误:AI 事故和安全事故的交叉地带,需要联合响应。
  • 联合演练:两种响应体系需要明确边界、联动规则和指挥归属。

落到项目里

向客户交付 AI 系统时,安全问卷里加一栏 AI 事故响应。问清楚:模型输出异常由谁监控?误判的回滚机制是什么?受影响的用户怎么通知?这些问题的答案不会出现在传统安全应急预案里。如果你的 AI 系统还没设 AI 事故响应流程,第一次出错时团队会拿着安全手册不知所措。