寓言故事
城里不再只问算得准不准
金台城有许多会做判断的铜机。它们决定贷款排序、仓库补货、投诉优先级和巡检路线。最初,大家只问一个问题:铜机算得准不准。
几年后,铜机越来越多。有些来自城内工匠,有些来自外商,有些由旧规则改装而来。它们影响的钱、时间和人越来越多,却没有一套共同的管法。
官员的天真修补是要求每台铜机附一张准确率纸条。纸条看起来专业,却解释不了很多问题:数据会不会过期,边界在哪里,谁能改参数,错了谁负责,什么时候必须停用。
一次自动排序把高风险客户排进快速通道。铜机在旧样本上准确,在新业务上却放大了错误。负责部门说供应商保证过,供应商说使用场景变了,审计员说没有独立验证记录。
城主于是设立机器风险署。它不造铜机,也不替业务做所有决定,而是规定所有重要铜机必须入册、分级、验证、监控、复审,并有明确的责任人和例外处理。风险署把问题拆开:机器目的是什么,假设是什么,可能伤害谁,错误会造成多大损失,是否有人工监督,供应商依赖如何管理,退场方案是什么。
从那以后,高风险铜机不能只凭开发者自证上线。它要经过独立验证、上线审批、运行监控和定期复查。低风险铜机流程轻一些,但也不能无主运行。业务部门起初觉得多了一层门槛,后来发现这层门槛让他们更容易向客户、监管和董事会解释为什么敢用、哪里不能用、出了事怎么处理。
城主后来设了铜机册。每台铜机登记用途、来路、影响范围、负责人、复查日和停用条件;越会影响人生计的,审得越细。工匠一开始嫌麻烦,说铜机只要准就行。直到一台旧铜机在新市场里把小商贩全排到后面,准字纸条仍然漂亮,投诉却堆满衙门。
此后金台城不再只看算术成绩。能不能解释、能不能追责、环境变了谁来复查,和准不准一样会决定一台铜机能否上街。城主最后明白,机器风险管理不是阻止机器进入业务,而是让机器在承担真实责任时有边界、有证据、有退出机制。