← 返回概念辨析

Concept Contrast Fable

AI 风险管理和模型风险管理

一个管的是整个 AI 系统落地之后可能捅的篓子,一个管的是模型本身在开发、验证、部署过程中的风险。两个框画得不一样大,对供应商提的要求也不同。

寓言

两本安全台账

老徐的车坊做出一辆会自己稳住方向的新车。交车前,城里验车官递来两份册子:一份查车心,一份查整车上路。老徐看着都像安全检查,便让徒弟抄了同一套答案。

三天后,册子被退回。查车心的那份基本通过:铜轮在雨天会不会打滑,转向杆在不同坡度上是否偏,试车记录有没有覆盖重载和空载。另一份却被画满红圈。

验车官追问的是上路后的整套安排:谁能开,钥匙由谁保管,乘客名册放哪里,修车铺能不能偷看行程,出事故谁先停用,夜里车库由谁巡查。

老徐这才发现,他一直把发动机当成整辆车。发动机调得再好,油管漏油、车门无锁、车夫乱接私活,都会让好车变成麻烦。

他先想把两份册子合成一份,省得重复。老验车官拦住他:合在一起容易漏。查车心要看材料、试验、偏差和失灵边界;查上路要看人、路、钥匙、账册、外包修理和事故处置。

车坊重新验了一遍。车心册记录每次试跑的表现和薄弱路况;整车册画出从接单、载客、记账到维修的全链路。重叠处用双印标出,谁负责也写清。

后来同行问老徐秘诀。老徐指着两册说:先看心脏能不能稳,再看整辆车会不会伤人、漏账、失控。前者管部件本身,后者管部件被放进生意后带来的整条风险。

老徐后来给徒弟讲,两册有交叉,但不能互相吞掉。车心失灵会让整车出事,整车管理混乱也会放大车心的小偏差。分开记录,是为了让每类问题找到真正的主人,不在一张大表里互相遮掩。验车官也提醒他,车坊越像一门生意,第二册越厚;车心越复杂,第一册越不能省。两册一起看,车才算真正能上路。后来复盘时,众人把这条经验写进日常规矩:先看现场哪里真正改变了结果,再决定该保留什么、修补什么、限制什么。若只看表面热闹,下一次还会在同一处摔倒。

AI 风险管理

覆盖 AI 系统全生命周期的风险治理框架,包括数据治理、模型风险、部署安全、第三方依赖、用户隐私、合规审计和运维规范。它的范围远大于单一模型。

模型风险管理 (MRM)

聚焦于模型开发、验证、部署和监控过程中的风险,包括训练数据质量、模型偏差、过拟合、可解释性和性能衰减。它是 AI 风险管理的子集。

故事对应

  • 系统安全评估表:AI 风险管理,覆盖全链路。
  • 模型风险评估表:模型风险管理 (MRM),只覆盖模型本身。
  • 日志不脱敏导致用户数据暴露:属于 AI 风险管理的范围,模型风险评估不检测。
  • 交叉对照表(打勾和打圈):两个框架的覆盖范围关系图。
  • 先看发动机再看整车:MRM 在先,AI 风险管理在后,但 AI 风险管理范围更大。

落到项目里

在供应商安全问卷和内部审计中,先用 MRM 框架逐项检查模型本身的训练、验证和偏差。再用 AI 风险管理框架把整条链路查一遍——从数据入口、API 网关、日志存储到运维权限。两个框架各自有对应的国际标准(比如 MRM 参考 SR 11-7 或 OCC 指南,AI 风险管理参考 NIST AI RMF 或 ISO 42001),不要把它们当成同一份问卷的两种说法。