← 返回概念解读

Concept Fable精修版

模型风险评估

Model Risk Assessment · 治理

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

开门前先问这台铜机会伤到谁

北苑城准备把一台新铜机放到办事大厅。它能替人整理申请、判断材料缺口、建议下一步处理。试用时速度很快,窗口队伍明显变短。

城主一开始只问它准不准、快不快。工匠拿出漂亮演示,十份样本九份正确。众人差点当场放行,直到一位妇人问:若它错拒了救济申请,谁会发现?

第一次修补是贴一张告示,提醒百姓自行核对。可许多人看不懂条文,也不敢质疑铜机。第二次修补是让窗口偶尔抽查,结果高风险事项和普通咨询混在一起,抽查抓不住关键伤害。

老法官要求开门前先列风险册:它服务谁,影响什么权利,错了会造成多大损失,哪些人更容易被误伤,何时必须人工复核,数据从何而来,如何申诉和停用。

评估后,铜机仍被使用,但范围缩小了。它可以整理材料、提示缺件;涉及救济资格、处罚和准入的结论必须交给有责任的人复核,并保留依据。

办事厅速度没有演示时那么耀眼,却少了盲目上线的危险。城主明白,风险评估不是阻止新工具,而是在投入真实场景前看清可能伤到谁、怎样伤、如何预防和追责。

老法官还要求复查。铜机上线后,办事厅每月看误拒、申诉、延迟和特殊人群受影响情况。开门前的评估只是第一步,真实使用会暴露演示中看不见的风险。

后来别城来借铜机,北苑没有直接照搬。法官先问对方场景、职责和受影响人群,再决定能否使用。风险从来不只属于器物本身,也属于它被放进的制度和人群。后来北苑城把这套问题写成开门前的固定仪式。任何新铜机进入大厅,都要先说清用途、伤害、补救和责任。速度让人心动,风险账让人清醒。评估越具体,办事厅越能把好处留下,把伤害挡在门外。它让上线从一次兴奋决定,变成能被追问、复查和纠偏的管理动作。少这一步,快就可能变成盲目。

揭示

这个故事讲的是:模型风险评估

模型风险评估是在上线前对模型的能力边界、潜在有害使用场景、偏见放大风险和滥用可能性进行结构化评估。它把影响对象、业务关键性、错误后果、数据敏感度、自动化程度、人工监督、供应商依赖和控制措施放在一起判断,决定是否上线、如何分级、需要哪些门禁和监控。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 办事大厅铜机:即将上线的 AI/Agent 应用
  • 只看准确率:忽略影响和后果的天真修补
  • 一份错的会伤到谁:风险评估中的 impact analysis
  • 资格拒绝必须人工确认:按风险分级设置 human oversight
  • 滥用路径和偏见来源:misuse、bias 和 safety risk
  • 上线条件:risk controls、release gate 和 monitoring plan
  • 申诉渠道:appeal、review 和 accountability
  • 最后洞察:模型风险评估把潜在伤害转化为上线前的控制设计

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

风险矩阵影响分析安全分级预部署审查