SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

管出事的和定规矩的

公司要建 AI 体系,经常有人问该找「搞安全的」还是「搞合规的」。这两个职能听起来像,但一个管的是出了事怎么补救,另一个管的是怎么定规矩让少出事。搞错了方向,团队会发现自己天天救火,或者规矩定得太死没人想遵守。

寓言

工地上的安全员和监理

县城外有个大工地,动工第一天就出了事。一个工人没戴安全帽,被掉下来的砖头砸破了头。工头赶紧把人送医院,然后找到老板说:这事儿得有人管。老板一想也对,就请了个安全员老周来,专门负责防止再出事。

老周每天在工地上转悠,看到谁没戴安全帽就骂一顿,看到谁在脚手架上抽烟就赶下去,看到哪里电线露出来了就让人赶紧修。工人们一开始嫌他烦,但确实再也没出过大事故。

可老周发现一个问题:有些事故不是工人不小心造成的,而是施工的方案本身就有问题。比如老板为了赶工期,让工人在还没完全加固的地基上继续盖楼。老周去找老板说这样做不安全,老板却说:「不赶工期拿不到钱,误了工期咱们的损失更大。」

老周一个人说了不算,只能天天跟在后面救火。今天加固这根柱子,明天修补那堵墙,后天又得出人送受伤的工人去医院。忙得脚不沾地,但工地还是隔三差五出状况。

后来老板又请了个人来,这人姓张,是做工程监理的。张监理来了之后第一件事不是去工地转悠,而是坐在办公室里定规矩。他写了厚厚一本施工规范:地基必须打多深、钢筋必须用多少根、脚手架必须怎么搭,一条一条写得清清楚楚。

规矩定下来之后,张监理每天只去工地抽查几次,看看有没有人违反规定。工人要是违反了,要么停工整改,要么罚款。几次之后,工人们都老实了,不用老周天天盯着。

但新问题又来了。有个新工艺,用一种新型材料可以省一半时间。张监理一看,这种材料不在现有规范里,按规矩不能用。工期本来就紧,不用新材料肯定误期。老板着急,老周也着急,因为新材料确实更安全更省力。但张监理说:「规矩是定好的,不能随便改。」

两个人就开始吵。老周说:「安全员天天救火,监理定的规矩太死,害得我们施展不开。」张监理说:「安全员只会事后补救,不定规矩下次还会出事。」老板在旁边听着,头都大了。故事讲完了。出了事怎么补救、怎么减少损失,是风险管理做的事。定规矩让少出事、出了事有据可查,是治理做的事。两者缺一不可,但职能和目标不同。

AI risk management

识别、评估、应对 AI 系统中可能出现的风险,出了事知道怎么处置

AI governance

制定规则、流程、审核机制,从制度层面确保 AI 系统安全可控

故事对应

  • 安全员老周 → risk management,负责现场风险识别和处置
  • 监理张师傅 → governance,负责制定规则和监督执行
  • 天天跟在后面救火 → risk management 的被动应对状态
  • 厚厚一本施工规范 → governance 的制度和规则
  • 新工艺不在规范里 → governance 的僵化问题
  • 出了事赶紧送医院 → risk management 的事后补救
  • 工人违反规定被罚款 → governance 的威慑和约束

落到项目里

如果你的团队现在天天在处理各种 AI 出的问题——模型抽风了、数据泄露了、用户投诉了——你们需要的是加强 risk management,先把应急机制建立起来。如果你们的 AI 系统还没上线,或者刚上线还比较稳定,但需要一套长期可靠的运行框架,那 governance 是更优先的选择。最好两边都有:governance 负责定规矩和审查,risk management 负责执行中出了事怎么处置。