SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

模型投毒和数据投毒:一个在工厂里下毒,一个在原材料里掺假

安全评审会上两个词经常被并排列出,好像说的是同一类攻击。模型投毒是直接篡改已训练好的模型权重或植入后门;数据投毒是在训练数据中混入恶意样本,让模型在训练过程中学到错误行为。攻击入口不同,检测方法不同,防护的重点也不同——一个守模型仓库的完整性,一个守训练管道的纯净度。

寓言

两家酱油厂的两种意外

镇上两家酱油厂先后出了事故。第一家的问题是成品仓库夜间被人潜入,有人在已经灌装封好的酱油瓶里注入了变质菌液。第二天发货时外观一切正常,但消费者开瓶后吃了亏。厂家查了监控才发现是人为破坏,问题出在仓储安保环节。

第二家的问题更难查。他们有一批酱油发酵时出现了奇怪的风味——不酸不坏,但味道总是不对。追查了几个月,最后发现是原料供应商在大豆里混了一种经过基因改造的豆子,外观一样但发酵后产生的氨基酸比例完全不同。问题出在原料入场环节,但后果体现在了成品上。

第一家厂的损失是一次性的:封存那批问题产品,加强仓库安防,赔偿消费者。第二家厂的损失是持续的:因为不知道混入了多少批问题大豆,只能把那条发酵线全部清洗,换新菌种,重新建立供应链审核流程。而且因为消费者已经吃了几个月“味道微妙”的酱油,品牌口碑掉了一大截。

镇上的行会把两个事故写成了告示。第一条写给成品仓管:夜间封门、瓶口贴封、出库前逐箱验签,防的是有人碰已经装好的瓶子。第二条写给采购和酿造师:原料入场要查来源、抽样试酿、异常风味要追到豆田,防的是坏东西混进酿造过程。

告示里有个细节让很多小厂记住了区别。成品仓被动过,通常能从封条、门锁和监控里找到线索;原料被掺过,问题会散在几百缸发酵桶里,要靠长期味谱和供应链账册慢慢追。一个像有人撬了仓库门,一个像有人换了你的种子。

有家小厂看完告示后改了自己的检查表。原来只有一行“防人下毒”,后来拆成两行:一行查成品仓库的钥匙、封条和夜巡记录,另一行查大豆来源、抽样留存和入缸前的小批试酿。伙计们第一次发现,同样叫投毒,真正该守的门并不在同一个地方。

酱油厂的教训后来在镇上流传成一句话:有人往你已经酿好的缸里倒坏水,开盖就能闻到;有人在你的豆田里混了另一种豆子,等酱香变了才知道。两个都要防,但一边守成品仓,一边守原料田。把两件事写成同一张锁门清单,只会漏掉真正的入口。

模型投毒

直接篡改已训练模型的权重参数或植入隐藏后门,攻击目标是模型文件本身,常发生在模型存储、分发或部署阶段。

数据投毒

在模型训练阶段向训练数据中注入恶意样本,使模型学到错误行为或产生特定偏差,攻击目标是训练管道中的原始数据。

故事对应

  • 成品仓库被人注入变质菌液:模型投毒,攻击已训练好的模型文件
  • 原料大豆被混入改造品种:数据投毒,攻击训练数据的来源和纯净度
  • 第一家损失一次性、第二家持续数月:模型投毒影响集中可隔离,数据投毒追溯成本高
  • 安全问卷从一行拆成两行:采购评审中必须区分两种攻击面

落到 AI 安全方案里

填客户安全问卷时,把模型投毒和数据投毒拆成两个独立控制项。模型投毒的应对是模型签名校验、仓库访问审计和分发管道加密。数据投毒的应对是训练数据溯源、管道隔离和样本级异常检测。两套控制措施需要的预算、角色和审计证据都不一样,合在一起写会让双方都说不清自己到底防了什么。