寓言故事
那台百用蒸汽脑,不亲自开门也会影响所有门锁
工坊城造出一台百用蒸汽脑。它能写信、画图、翻译、编账、教徒弟,接上不同工具就能做不同活。最早,城主只监管那些直接管门、管钱、管药的机器。蒸汽脑只是底座,制造者说自己并不知道下游会拿它做什么。可几年后,半城的机器都接上了它。门锁问它该不该放行,账房问它交易是否可疑,学堂问它作文是否作弊。
一次蒸汽脑学到错误药方,下游十几个小工具同时复述。事故不发生在底座厂门口,却从底座能力里扩散出来。
城里开始要求百用蒸汽脑的制造者承担底座责任:说明练习和能力边界,评估整套装置性风险,提供安全说明,支持下游合规。
如果蒸汽脑能力特别强、用途特别广,还要做更严格测试,报告重大事故,防止它被大规模滥用。
下游工坊也不能把责任全推给底座。它们要按自己的具体用途再做风险控制和人工监督。
大家最后分清了两层责任:通用底座要说明自己能带来什么广泛风险,具体应用要证明自己在特定场景中可控。
底座厂起初觉得委屈:他们没有亲自管门、管钱、管药,为什么要管后果?老法官让他们看事故图,十几家小工坊的错都从同一个底座误解里长出来,谁也不能装作只是路过。
城里最后定了分层账。底座厂要说明广泛能力和共通风险,接入者要说明自己的具体用途和防护。责任被分开后,争吵少了,真正该补的环节也更容易被找到。这种分层责任让底座厂不能躲在用途未知后面,也让下游工坊不能把自己的草率推给别人。百用底座越常见,这本分层账越不能缺。没有这本账,风险会顺着每个接入口散开。