SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

风险评估和模型风险评估:一个扫全屋,一个专查AI

项目启动阶段通常会安排一轮风险评估,而涉及AI模型时又会提到模型风险评估。许多团队直接把模型风险评估叠在通用风险评估里面一起做了,结果通用风险模板查不出模型的隐性风险,模型专项检查又覆盖不了业务层面的连锁影响。

寓言

工厂的安全检查和设备专检

一座化工厂每年有两套安全检查。第一套是综合安全巡检,查消防通道、危化品存放、防爆电器、应急预案,覆盖全厂二十几个车间。第二套是自动化设备专项检查,只查中央控制系统的传感器精度、控制逻辑冗余和失效切换机制。两套检查的报告格式、检查员资质和整改流程都不一样。

有一年厂里搞降本增效,把两套检查合并成一次年度大检。安全组觉得反正都要进车间,不如一趟查完。自动化设备部分被嵌入综合检查表里作为一个小节,原来四个小时的专项检查被压缩成四十分钟。检查员对照综合检查表里的自动化设备小节,勾了几项运行正常就走了。

三个月后,反应釜温控系统发生了一次微量偏移——传感器读数比实际温度低了五度,控制系统没触发任何报警,因为偏差没超过综合检查表里设置的安全阈值。十二小时之后温度偏差扩大到十五度,系统终于报警,但反应釜内壁已经出现腐蚀。停产修理花了三周。

事故调查发现,自动化专项检查原本有一套独立的阈值标准:温控偏差超过三度就要标黄、超过五度标红并触发维护流程。这套标准在合并成大检时被综合检查表的通用阈值覆盖了——综合检查表管的是消防和危化品,它的阈值对于精密控制系统来说太粗了。

厂里恢复了双检制度,但做了一条改进:两套检查的报告首页加了一个交叉引用表。综合检查报告里写明本次未覆盖的专项检查项目,专项检查报告里写明本项风险对全厂综合评分的影响。两份报告不合并,但互相能看到对方的存在和结论范围。

年底安委会总结时画了一张图:通用风险评估像一张全厂地图,告诉你哪些区域有风险;模型专项评估像一座车间的剖面图,告诉你这台设备内部的每一层风险分布。两张图的比例尺不同,一张图放进去另一张并非补充,关键在于替换,替换就会丢信息。

风险评估

通用的风险识别、分析和评价流程,覆盖组织、项目或系统的各类风险,关注的是风险的整体画像和管理优先级。

模型风险评估

针对AI或机器学习模型的专项风险检查,覆盖模型偏差、数据漂移、对抗鲁棒性、可解释性和输出安全等模型特有的风险维度。

故事对应

  • 综合安全巡检查消防危化品全厂范围:通用风险评估,覆盖多类风险的全局画像
  • 自动化设备专项检查查传感器和控制逻辑:模型风险评估,聚焦模型特有的技术风险
  • 合并大检后专检从四小时压缩到四十分钟:把模型风险嵌套在通用评估中导致覆盖不足
  • 综合检查的通用阈值盖住了专检的精密标准:两类评估的尺度不同,合并会丢失精度
  • 两份报告首页加交叉引用表:保留独立流程但建立互相可见的关系

落到 Agent 项目里

Agent项目启动时的风险评估分成两个独立环节。通用风险评估用常规框架覆盖数据隐私、业务连续性、第三方依赖等全局风险。模型风险评估用模型专项清单检查幻觉率、偏见、对抗攻击面和输出安全问题。两份报告的结论可以汇总到同一个风险登记册,但检查过程、检查标准和检查人资质要保持独立。