SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

AI 风险管理和模型风险管理

一个管的是整个 AI 系统落地之后可能捅的篓子,一个管的是模型本身在开发、验证、部署过程中的风险。两个框画得不一样大,对供应商提的要求也不同。

寓言

两本安全台账

老徐的工坊接了一笔企业订单,对方要求签合同之前先过安全审核。安全部门发来两份表格,一份叫「系统安全评估」,一份叫「模型风险评估」。老徐看了一眼,觉得差不多,让助理把两份表格填了交上去。

三天后,安全部门的回函到了。系统安全评估打了回来,批注密密麻麻:数据流向图没画全,第三方服务接入点没标注,用户隐私数据在日志里是否脱敏没有说明,运维人员的访问权限没有分级。模型风险评估倒是过了,因为老徐填了训练数据的来源、模型评估指标和偏差检测结果。

老徐把回函摊在桌上,发现一个规律:系统安全评估问的都是「系统上线之后」的事——谁在用、数据流到哪里、日志存多久、外部服务会不会泄露信息。模型风险评估问的都是「模型成型之前」的事——数据怎么收集的、怎么验证的、有没有过拟合、在哪些人群上表现不稳定。

老徐的安全工程师帮他把两张表的关系画了出来。模型那张表只管这台发动机的性能、偏差和可解释性;系统那张表更大,除了发动机,还要管油路、车门、钥匙、驾驶员、外部修理铺,甚至包括谁能在夜里打开车库。

模型没问题,不代表整个 AI 系统没问题。一个训练数据干净、评估指标优秀的模型,接上一个日志不脱敏的数据管道,用户查询记录全暴露了——这属于 AI 风险管理要管的范围,模型风险评估管不到这里。

老徐于是给安全部门回了一封信,把两份表格的关系说清楚,并附上了一张交叉对照表:模型风险评估覆盖的范围打勾,AI 系统风险评估覆盖的范围打圈,重复覆盖的打双标记。安全部门很满意,后续审计再也没在这件事上扯过皮。

有个同行跑来问老徐:你们过安全审核怎么这么快?老徐说:先把两张表的边界画清楚——一个管模型本身,一个管模型被用起来之后整条链路的风险。填表的时候别混着填。

后来工坊每接一个新合同,都先拿出这两张空白表格,对着客户的业务场景逐条过。先过模型风险,再过系统风险,最后看一遍交叉区域有没有遗漏。老徐管这叫「先看发动机,再看整车」。

AI 风险管理

覆盖 AI 系统全生命周期的风险治理框架,包括数据治理、模型风险、部署安全、第三方依赖、用户隐私、合规审计和运维规范。它的范围远大于单一模型。

模型风险管理 (MRM)

聚焦于模型开发、验证、部署和监控过程中的风险,包括训练数据质量、模型偏差、过拟合、可解释性和性能衰减。它是 AI 风险管理的子集。

故事对应

  • 系统安全评估表:AI 风险管理,覆盖全链路。
  • 模型风险评估表:模型风险管理 (MRM),只覆盖模型本身。
  • 日志不脱敏导致用户数据暴露:属于 AI 风险管理的范围,模型风险评估不检测。
  • 交叉对照表(打勾和打圈):两个框架的覆盖范围关系图。
  • 先看发动机再看整车:MRM 在先,AI 风险管理在后,但 AI 风险管理范围更大。

落到项目里

在供应商安全问卷和内部审计中,先用 MRM 框架逐项检查模型本身的训练、验证和偏差。再用 AI 风险管理框架把整条链路查一遍——从数据入口、API 网关、日志存储到运维权限。两个框架各自有对应的国际标准(比如 MRM 参考 SR 11-7 或 OCC 指南,AI 风险管理参考 NIST AI RMF 或 ISO 42001),不要把它们当成同一份问卷的两种说法。