寓言故事
许多小开关连成了一座判断机
城里的旧秤只能按一两个条件判断货物：重量超过多少，颜色是否合格。简单货物够用，复杂货物就不行。
客户开始要求同时看纹理、产地、运输温度、历史投诉和合同等级。旧秤的每条规则都要手工写，越写越像一团线。
工程师先加更多旋钮。每个旋钮对应一个条件。旋钮多了以后，没人知道该怎样组合，规则维护比判断本身还难。
一位机械师造了一座由许多小开关连接成的机器。每个小开关接收一些信号，经过权重和非线性变化，再把结果传给下一层。
机器一开始什么都不会。训练时，它根据错误一点点调整连接强弱。看过许多样本后，某些开关开始响应纹理，某些响应风险组合，后面层再形成更高层判断。
第一次用于合同风险初筛时，机器综合了条款、金额、地区、客户历史和审批记录，输出需要法务复核的概率。
法务主管提醒，概率不是判决。神经网络能从复杂信号中学习模式，但高风险结果必须能回到证据、阈值和人审流程。
团队开始记录训练数据、特征来源、阈值选择和上线后漂移。机器不是孤立聪明，而是被纳入可监控系统。城里最后把它称为判断机：不是因为每个开关都懂业务，而是因为许多简单单元连在一起，能学习复杂映射。后来商人问机械师，能不能指出是哪一个小开关懂得风险。机械师摇头，只能展示多层连接怎样一起变化，以及哪些输入最影响结果。于是城里给判断机配了验收规则：不能把它当神谕，也不能把它当普通秤。它擅长从许多信号中学出映射，但越用于重要决定，越要有监控、复核和退出办法。后来判断机也犯过错，把罕见好货当成风险货。主管没有砸掉机器，而是检查样本、阈值和复核流程，重新调整。学出来的判断，也要被放回制度里。机器越有用，越要被看住。