← 返回概念解读

Concept Fable精修版

AI 事故

AI Incident · Operations/Risk

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

自动磨坊出事后,镇上不再只问谁按了开关

镇上新磨坊能自己收粮、磨粉、记账,还会派车送货。早年活少,老师傅每天绕一圈,看一眼粮仓、磨盘和车队,出错也能当场拦下。

后来三镇的粮都送来,磨坊日夜转动。管事最得意的是快:湿粮、干粮、急单、赊账都能排进同一条链,客人还没催,车已经到了门口。

事故发生在一个雨后清晨。一批潮粮被当成干粮进了磨盘,粉末结块,账房照常盖章,车队照常装走。到糕饼铺发现面粉发酸时,坏粉已经进了三家店,镇上的招牌也跟着受损。

管事先想找一个犯错的人。看粮的人说木秤显示合格,账房说章票齐全,车夫说只按出货牌走。每个人都只碰到链条的一小段,谁也说不清坏粉为何能一路通过。

有人提议把磨坊关了。镇长不同意:全镇每天靠它供货,关停会让更多店铺断粮。于是他们先封存坏批次,追回已出货物,告知受影响的铺子,再把当天的湿度牌、抽检签、放行章和传令记录全部收进一只箱子。

复盘时,问题慢慢露出来:雨后木秤偏松,抽检伙计临时去修仓门,账房只看章票不看粮样,警铃响过一次却被当成小毛病。单独看都不致命,连在一起就把坏粉送出了门。

整改没有许诺以后永不出事。磨坊改为登记险些出事的小错,潮粮超过界线必须复核,警铃两次未处理就升到管事,车队每月演练追回货物。镇长从此把磨坊事故当成一条业务链的伤害来管:先止损,再查证,再修规矩,最后把教训留在下一次出货前。他们还把险些流出的批次写进演练册,让每个岗位知道自己在止损、查证和恢复里该做哪一段,而不是等坏消息传到街上才互相追问。

揭示

这个故事讲的是:AI 事故

AI Incident 是 AI 系统造成或险些造成伤害、政策违规、安全问题、合规失败、歧视、数据泄露或重大运营中断的事件。企业需要定义报告标准、分级、隔离、通知、证据保存、根因分析、整改和复盘机制,并把 near miss 也纳入治理,而不只是修复代码缺陷。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 自动磨坊:生产中的 AI/Agent 系统
  • 潮粮误判:模型或传感判断失败
  • 坏粉流向客户:AI 错误造成真实业务影响
  • 找一个犯错的人:忽视系统性事故链
  • 隔离批次和保存日志:incident response
  • 传感异常、阈值低、抽检跳过:多因素根因
  • 近失事件登记:near miss reporting
  • 可发现可控制可学习:AI incident management 的目标

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

incident managementharm reportingnear missmodel failureaudit trail

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。