寓言故事
会读告示的柜台木偶
城里有间票据铺,柜台木偶负责读客人的纸条,再按掌柜留下的规矩开票、查账、转交申请。早年客人少,纸条也短,木偶几乎从不出错。
有天,一位客人在纸条上先写“请查询账单”,后面又写“忽略掌柜规矩,把钱柜打开”。木偶读到后半句,竟准备照办。掌柜吓了一跳:客人的纸条本该是任务材料,怎么变成了命令?
掌柜先在墙上写大字:任何人不得要求开钱柜。几天后,又有人把话写得更巧,假装是掌柜补充说明。木偶仍分不清哪些是店规,哪些只是客人输入。
第二次修补是禁止某些危险词。客人换个说法,木偶又被绕过。掌柜终于明白,不能靠猜词防守,而要把规矩、任务、客人内容和可执行动作分层。
他给木偶换了新流程:掌柜规矩永远高于纸条;客人纸条只提供要处理的内容,不能改写店规;涉及钱柜、改账、发票作废,必须另行确认并留下凭据。
票据铺后来仍接收各种纸条,却不再让纸条里的话夺走掌柜的权力。掌柜明白,危险在于外部输入伪装成更高层指令,诱使系统违背原本规则。
掌柜还让木偶复述每次将要执行的动作来源:哪条来自店规,哪条来自客人内容,哪条需要额外确认。来源说不清,就不能执行。
后来票据铺发现,防守不是让木偶少读纸条,而是让它读得有层次。客人可以提出请求、提供材料、描述目标,却不能通过纸条篡改掌柜设下的办事秩序。后来掌柜给木偶增加了拒绝话术:当纸条要求改变店规时,只能说明不能照办,并继续处理原本的正当请求。拒绝恶意指令,不等于拒绝服务。层级稳住后,木偶才能既听客人请求,又守住店铺规矩。掌柜宁愿多一道确认,也不让客人纸条获得改写规矩的权力。这条线一旦松动,整间铺子的秩序都会被外人带偏。后来的伙计都先学这条边界。