寓言
急诊室里的两种警报
市立医院有一套全院警报系统，连接着急诊室、住院部、药房和手术室。任何一个区域出现异常，警报就会响，值班团队按照同一份应急手册出动。运行了五年，处理过大大小小几十次事件。
去年医院引进了一套 AI 辅助诊断系统，接入了放射科、心电图室和病理科。系统上线第三周，急诊室收到了一张奇怪的 CT 报告：AI 把一块良性钙化斑标注为「高度疑似恶性肿瘤」，建议立即手术。值班医生经验丰富，看了一眼觉得不对，手动推翻了这个建议。
同一天晚上，医院的信息系统确实触发了安全警报：有人试图从外部 IP 爆破管理员账号密码。安全团队按手册响应——封 IP、查日志、通知主管，两小时内处理完毕。但那张 AI 误诊报告，全院警报系统根本没响。
医院安全委员会复盘时发现，全院警报系统只监控网络攻击、病毒入侵、权限异常这些传统安全事故。AI 系统的输出质量问题——误诊、偏见、幻觉——不在它的监测范围内。AI 出了错，只有靠使用它的人发现，没有系统级监控。
医院决定在原有的安全响应团队旁边，增设一个「AI 事故响应小组」。这个小组不盯防火墙，盯的是 AI 系统的输出质量：诊断与临床结论的一致性、对不同人群的诊断准确率偏差、模型幻觉导致的不实信息。他们的应急手册跟安全团队的完全不同：安全团队封端口、查日志、溯源攻击者。AI 小组暂停模型服务、切换备用模型、追溯受影响病例。
两个团队共用一个指挥中心，但各有各的应急手册。安全警报出来，安全团队接手；AI 输出异常出来，AI 事故响应小组接手。有些事件需要两边联动——比如有人通过注入恶意提示词让 AI 给出错误分诊建议，这就同时触发了安全事故和 AI 事故。
半年后医院做了一次联合演练。安全团队模拟了一起数据库泄露，AI 团队模拟了一起批量误诊。两边的响应时间、处理步骤、汇报对象和善后流程完全不同，但因为提前画清了边界，没有互相踩脚。
演练总结会上，院长说了一句后来被贴在两个团队办公室里的话：安全事故的敌人是外部攻击者，AI 事故的敌人是模型自身的不可靠。你的应急手册封不住一个算法错误。