← 返回概念解读

Concept Fable精修版

模型风险管理

Model Risk Management, MRM · Model Risk Management

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

城里不再只问算得准不准

金台城有许多会做判断的铜机。它们决定贷款排序、仓库补货、投诉优先级和巡检路线。最初,大家只问一个问题:铜机算得准不准。

几年后,铜机越来越多。有些来自城内工匠,有些来自外商,有些由旧规则改装而来。它们影响的钱、时间和人越来越多,却没有一套共同的管法。

官员的天真修补是要求每台铜机附一张准确率纸条。纸条看起来专业,却解释不了很多问题:数据会不会过期,边界在哪里,谁能改参数,错了谁负责,什么时候必须停用。

一次自动排序把高风险客户排进快速通道。铜机在旧样本上准确,在新业务上却放大了错误。负责部门说供应商保证过,供应商说使用场景变了,审计员说没有独立验证记录。

城主于是设立机器风险署。它不造铜机,也不替业务做所有决定,而是规定所有重要铜机必须入册、分级、验证、监控、复审,并有明确的责任人和例外处理。风险署把问题拆开:机器目的是什么,假设是什么,可能伤害谁,错误会造成多大损失,是否有人工监督,供应商依赖如何管理,退场方案是什么。

从那以后,高风险铜机不能只凭开发者自证上线。它要经过独立验证、上线审批、运行监控和定期复查。低风险铜机流程轻一些,但也不能无主运行。业务部门起初觉得多了一层门槛,后来发现这层门槛让他们更容易向客户、监管和董事会解释为什么敢用、哪里不能用、出了事怎么处理。

城主后来设了铜机册。每台铜机登记用途、来路、影响范围、负责人、复查日和停用条件;越会影响人生计的,审得越细。工匠一开始嫌麻烦,说铜机只要准就行。直到一台旧铜机在新市场里把小商贩全排到后面,准字纸条仍然漂亮,投诉却堆满衙门。

此后金台城不再只看算术成绩。能不能解释、能不能追责、环境变了谁来复查,和准不准一样会决定一台铜机能否上街。城主最后明白,机器风险管理不是阻止机器进入业务,而是让机器在承担真实责任时有边界、有证据、有退出机制。

揭示

这个故事讲的是:模型风险管理

模型风险管理是治理模型错误、误用、漂移、限制、假设和运营失败所带来风险的纪律。MRM 通常包括模型清单、风险分级、模型验证、审批、监控、变更管理、供应商模型管理、例外处理和定期复审。对 LLM/Agent 系统,它还要覆盖输出不可预测性、工具执行风险、数据泄露、偏见、安全和人工监督。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 会做判断的铜机:影响业务决策的模型和 AI 系统
  • 准确率纸条:只用单一性能指标管理风险的天真修补
  • 供应商与部门互相推:责任边界不清
  • 模型风险署:MRM 治理职能和控制框架
  • 入册、分级、验证、监控、复审:模型风险管理生命周期
  • 独立验证:model validation 和 second line review
  • 退场方案:rollback、decommission 和 fallback plan
  • 最后洞察:MRM 让模型在真实业务责任下可治理、可解释、可退出

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

model validationmodel monitoringmodel inventorychallenger modelSR 11-7