SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

AI 安全和 AI 治理有什么区别

AI 安全防的是外部攻击——提示注入、越狱、数据投毒,像守城门。AI 治理管的是内部规则——谁用什么模型、决策怎么审核、偏差怎么监测,像定城规。两拨人的分工边界不能是死的。

寓言

守城门的人和定规矩的人

北境新城建好之后设了两个要紧的职位。杜都尉守城门,管进出盘查——防刺客、查凶器、验路引,不让城外的麻烦混进来。曹大人坐衙门口,管内城法度——各家铁匠铺用火可有规矩、酒肆深夜可否营业、邻里争地该怎么裁断。

两人各管一摊,井水不犯河水,相安无事了两年。杜都尉在城门口翻过假路引、抓到过冒充商贩的探子。曹大人在衙门口断过酒肆扰民、罚过铁匠火星溅邻。城里人觉得这两位把城守得固若金汤。

第三年春天,有人在市中心的水井里下毒,三天之内病了四十多人。查了半个月,下毒的人抓到了——是个外来的杂耍艺人。杜都尉的兵在城门查过他,当时他包裹里只有彩球和铜环,路引也是真的,兵士就放他进来了。

事情闹大了,老城主把两人叫到堂上。杜都尉先开口:“我的职责是守城门。他进城那天腰里没藏刀、包裹里没凶器,路引也验过了。我总不能因为人家长得可疑就拦在城外。”曹大人接话:“我管内城规矩。他下毒之前没犯过任何一条城规。没人举报、没人告状,我又不能事先知道他要做什么。”

老城主听完,铺开一张新的城防图。城门除了查凶器和路引,多加一道问话——“进城打算做什么”。答得上来的放行,答不上来的带回卫所登记备案,交一张写有待做事项的纸条。城里每条街设一个保长,专管自己街上陌生人的进出和行踪,有异常直接报给曹大人。

最关键的改动不在城门,也不在衙门,而在两张桌子的中间:杜都尉的盘查记录,必须每天抄一份送到曹大人案头。曹大人手下的保长日志,也要每周抄一份还给杜都尉。如果曹大人发现某个被登记的外来人三天没出现在任何一条街的记录里,立刻知会城门卫——人可能藏起来了。

新规推了半年,城里没再出过投毒案。有邻城的守将来问经验,老城主只说了一句:规矩和城门之间不能有缝——刺客在外面的时候是杜都尉的事,混进来之后是曹大人的事,但刺客不会告诉你他现在算门里还是门外。

AI 安全:防外来攻击的

防外部攻击的技术层:提示注入、越狱、数据投毒、对抗样本。聚焦模型本身的输入输出链路是否被恶意利用,相当于城门口的盘查——防外敌渗透。核心工作是检测异常输入、拦截恶意行为、加固模型边界。

AI 治理:管内部规矩的

管内部使用的制度层:谁可以用什么模型、用 AI 做决策要不要审核、偏差怎么监测、事故怎么上报。相当于城内的法度和监督——管自己人怎么用火。核心动作是定规矩、审流程、做追溯。

故事对应

  • 杜都尉查凶器验路引:AI 安全,防外部恶意输入和攻击
  • 曹大人管城内法度:AI 治理,定内部使用政策和合规监督
  • 下毒的人进城时干干净净:合法的输入也能成为后续攻击的载体
  • 出事后两人互相推:安全和治理各自为政,缝隙正是攻击者的通道
  • 城门多加一道问话:输入层增加意图检测,安全策略前移
  • 盘查记录和保长日志互抄:安全日志和治理监控打通,形成联合响应
  • 刺客不会说自己在门里还是门外:攻击面不会遵守组织边界,安全和治理必须协同

落到组建团队

企业上 AI,安全团队要盯模型会不会被注入、训练数据有没有被污染,这是技术防线。治理团队要盯谁在用、用得对不对、偏差有没有被监测到,这是制度防线。两边的信息必须互通——安全发现的攻击模式,治理转化为使用规则;治理发现的不当使用,安全纳入防御策略。