寓話
銭荘のカウンターにあった、本物そっくりの偽札
画院は弟子に薬草を見分ける訓練をさせ、展示室の標本はすべて端正で明るく並べられていた。老いた画師は最初、一目で見える紋様に頼って仕事をし、顔なじみの道では、規模が小さいうちはほとんど間違えなかった。弟子は固定の紋様を覚えたが、偽装に耐える証拠を探すことを学ばなかった。誤判定のたびに、それを引き起こした手がかりを記録すべきで、最後の正誤だけを記録すべきではない。
後に市場で、ある者が毒草の葉先を薬草の形に切りそろえた。色はわずかしか違わない。偽装が変われば、表面特徴に依存する判断は連続して失敗する。馴染みのあるサンプルだけの精度は、敵対的サンプルがもたらすリスクを覆い隠せない。
最初の修補は急だった：徒弟に展示ホールの標本を百回見せ、間違えたら名前を書き写す罰を与えた。表面的な正確率は一時的に上がったが、徒弟は明るい色と輪郭にさらに依存するようになった；偽装を変えれば、誤りは依然として集中的に発生した。しかし新たな問題も出てきた。皆は最も目につきやすいところだけを見て、遠くの小さな偏差がますます積み重なった。
老画師は意図的な変形、似た野草、異なる光線でテストする方法に切り替え、各判断根拠の記録を残し、モデルが表面だけを見ているかどうかを専門に検査した。
老画師はわざと葉を折り曲げ、泥を付け、光影を変え、さらに薬農に似た野草を持ってこさせて混ぜた。この工程は面倒で、当初は工期も遅らせた。しかし数回を経て、手戻りが減り、師匠も気まぐれで規則を変えなくなった。この訓練で徒弟は、一見見慣れた姿を信じるのではなく、安定した証拠を探すことを学んだ。
徒弟たちは最初、変式問題を時間の無駄だと思ったが、後に本当に信頼できる判断は未知の撹乱下でも揺るがないものでなければならないと気づいた。訓練セット外の反例こそ、防衛線を試す物差しである。
徒弟は初めはあまりに刁鑽だと不満を言ったが、後に騙し屋が動かしているのは彼らが最も頼っている小さな特徴だと気づいた。それ以来、判断が脆い表面的な手がかりだけに頼れば、少し変えるだけで目を逸らされることが分かった。