寓言故事
钱庄柜台上那张太像真的假票
画院训练徒弟辨认药草,展厅里的标本都摆得端正明亮。老画师起初靠一眼看见的花纹办事,熟人熟路,日子小的时候很少出错。徒弟记住固定花纹,却没有学会寻找能抵抗伪装的证据;每次错判都应记录触发它的线索,而不是只记最后对错。
后来集市上有人把毒草叶尖剪成药草模样,颜色只差一点。伪装一改变,依赖表面特征的判断便连续失效;单看熟悉样本的准确率,掩盖不了对抗样本带来的风险。
第一次修补很急:让徒弟把展厅标本看上百遍,谁认错就罚抄名字。表面准确率暂时上升,徒弟却更依赖亮色和轮廓;换一批伪装,错误仍会集中爆发。可新毛病跟着出来,大家只盯最容易被看见的地方,远处的小偏差越积越深。
老画师改用刻意变形、相似野草和不同光线做测试,并把每个判断依据留下记录,专门检查模型是否只认表面。
老画师开始故意把叶片折弯、沾泥、换光影,还请药农带来相似野草混在一起。这一步麻烦,起初还拖慢了工期;可几轮之后,返工少了,师傅也不再凭脾气改规矩。这次训练让徒弟学会寻找稳定证据,而不是相信一眼熟悉的样子。
徒弟们起初嫌变式题费时,后来发现真正可靠的判断必须在陌生扰动下仍站得住;训练集之外的反例,才是检验防线的尺子。
徒弟起初抱怨太刁钻,后来才发现骗子动的正是他们最依赖的小特征。从那以后,若判断只靠脆弱的表面线索,轻轻一改就会把眼睛带偏。