寓言
衙门新设了两套审案规程,一套看断案的后果,一套看守卷宗的规矩
天和年间朝廷在各州新设了「机断衙」,用一套叫「铁判仪」的机器辅助判案。铁判仪读过近二十年全部刑案卷宗,能依据案情描述给出判决建议。机断衙设立之初,大理寺下令各州提交两份评估报告才能启用铁判仪。一份叫「用仪后果评估」,一份叫「卷宗使用评估」。各州推官多数分不清这两份报告的区别,写了相同的模板交上去。
青州推官沈大人是少数弄清楚了两份报告不同的人。他写「用仪后果评估」时做了三件事:第一,从近五年的判决中随机抽三百案,用手工判决和铁判仪建议相比较,发现在涉及妇女财产的案件中,铁判仪的判罚比手工判决平均重了一成半——因为历史卷宗本身就带着性别偏见,铁判仪学到了它。第二,他发现铁判仪对首次犯案和惯犯的区分度很差,一律从严。
这份报告的核心问题和数据隐私无关——它关心的是自动化决策对社会成员产生的差异影响。铁判仪可能没有泄露任何人的个人信息,但它做出的判决会让某一类人受到系统性不公。这就是 AI 影响评估的靶心。
沈大人写「卷宗使用评估」时关注的是完全不同的东西。他查了铁判仪的卷宗存储库:是不是所有案件都做了脱敏、历史卷宗里涉及未成年人信息的记录有没有隔离、州府传输案卷给铁判仪的驿道有没有加密封装、如果铁判仪的原厂师傅来维修是否可以读取全部历史卷宗。他发现卷宗脱敏只脱了人名和地名,但案情描述里提到了受害人的体貌特征——脱敏不够。维修师傅的权限没做限制,能读全量数据——访问控制不够。
两份报告合在一起交给大理寺后,大理寺的评事官在驿笺上批了一句:沈推官是唯一一个理解了两套规程各查各的人。其他人把后果写成了卷宗安全,把卷宗安全写成了后果清单,两份报告互抄段落,等于没分。
沈大人后来把两份报告分别装订。一本封面写「用仪后果」,里面放的是差异影响、误判风险、救济路径;另一本封面写「卷宗使用」,里面放的是脱敏、存储、传输和维修权限。大理寺要求两本书可以互相引用,但不能合并成一本。
两份报告唯一真正重叠的地方,是卷宗质量。卷宗是否合法、安全、必要,是「卷宗使用评估」要答的问题;卷宗里的偏见会不会让铁判仪伤害某类人,是「用仪后果评估」要答的问题。同一批卷宗,一边管来路和保管,一边管后果和责任,不能互相替代。