寓言
两本安全台账
老徐的工坊接了一笔企业订单,对方要求签合同之前先过安全审核。安全部门发来两份表格,一份叫「系统安全评估」,一份叫「模型风险评估」。老徐看了一眼,觉得差不多,让助理把两份表格填了交上去。
三天后,安全部门的回函到了。系统安全评估打了回来,批注密密麻麻:数据流向图没画全,第三方服务接入点没标注,用户隐私数据在日志里是否脱敏没有说明,运维人员的访问权限没有分级。模型风险评估倒是过了,因为老徐填了训练数据的来源、模型评估指标和偏差检测结果。
老徐把回函摊在桌上,发现一个规律:系统安全评估问的都是「系统上线之后」的事——谁在用、数据流到哪里、日志存多久、外部服务会不会泄露信息。模型风险评估问的都是「模型成型之前」的事——数据怎么收集的、怎么验证的、有没有过拟合、在哪些人群上表现不稳定。
老徐的安全工程师帮他把两张表的关系画了出来。模型那张表只管这台发动机的性能、偏差和可解释性;系统那张表更大,除了发动机,还要管油路、车门、钥匙、驾驶员、外部修理铺,甚至包括谁能在夜里打开车库。
模型没问题,不代表整个 AI 系统没问题。一个训练数据干净、评估指标优秀的模型,接上一个日志不脱敏的数据管道,用户查询记录全暴露了——这属于 AI 风险管理要管的范围,模型风险评估管不到这里。
老徐于是给安全部门回了一封信,把两份表格的关系说清楚,并附上了一张交叉对照表:模型风险评估覆盖的范围打勾,AI 系统风险评估覆盖的范围打圈,重复覆盖的打双标记。安全部门很满意,后续审计再也没在这件事上扯过皮。
有个同行跑来问老徐:你们过安全审核怎么这么快?老徐说:先把两张表的边界画清楚——一个管模型本身,一个管模型被用起来之后整条链路的风险。填表的时候别混着填。
后来工坊每接一个新合同,都先拿出这两张空白表格,对着客户的业务场景逐条过。先过模型风险,再过系统风险,最后看一遍交叉区域有没有遗漏。老徐管这叫「先看发动机,再看整车」。