寓話
薬棚に紛れ込んだ偽薬の札
大きな薬舗には処方人形があった。それは古い処方箋、患者記録、薬材ラベルに基づいて調剤師に提案を行う。昔は薬棚が小さく、ラベルはすべて店主が自筆していたため、提案は非常に安定していた。
後に薬舗は分号を開き、各地の症例、顧客のフィードバック、供給元の説明、公開医書を集め始めた。木偶はより速く学び、これらの新材料にもより依存するようになった。
速度を上げるため、徒弟は新しく来た薬札をそのまま訓練簿に投げ込んだ。最初の数週間、木偶はよくある軽い病気でより良い成績を示したので、店主は資料が多ければ多いほど良いと思い込んだ。
しかし一部の珍しい病症で誤り始めた。木偶はいつも安価な薬を第一選択と言い、いくつかの危険な組み合わせを非常に安全だと説明した。追跡調査の結果、誰かが長期間フィードバック箱に偽の記録を入れていた。
店主はまず明らかに荒唐無稽な病例をいくつか削除した。しかし問題は消えなかった。偽の記録が本物のように書かれ、しかも別々の支店、別々の仕入れ先、別々の時期に分散していたからだ。
新帳医は受入規則を定めた。出所は登記し、異常分布は警報を出し、重要フィールドは抜き取り検査し、高リスクサンプルは隔離し、学習の前後で行動比較を行う。
木偶は新しい資料を盲信しなくなった。低信頼の出所からの症例は候補プールにしか入れられず、検証を経ねばならない。安全勧告に影響するサンプルは二人の再確認を要する。
その後、フィードバック箱に再びある薬の効果を誇張する記録が現れた。薬舗はそれらが似た言葉遣いで、出所が集中し、結果が異常であることに気づき、まず訓練簿の外で止めた。店主はついに理解した。人形を教える材料が人形の習慣になるのだと。井戸に少しずつ毒を盛られれば、水を飲む人はいつか毒を味だと思うようになる。新しい帳簿医はまた、材料が増えることは信頼性が増すことではないと定めた。新しい記録の各バッチについて、出所が突然集中していないか、結論が異常に一致していないか、特定の薬にだけ有利ではないかを問う必要がある。以前は薬舗がカウンターでの盗難だけを防いでいたが、後に人形を教える帳簿自体にも門番が必要だと知った。店主はまた、毒は必ずしも激しく来るとは限らないと気づいた。それは普通の記録のようにゆっくり混ざり込み、提案が変形する頃にはすでに習慣として学ばれている。後の振り返りで、皆はこの経験を日常の規則に書き加えた。まず現場で実際に何が結果を変えたかを見てから、何を残し、何を修繕し、何を制限するかを決める。表面的な賑わいだけを見れば、次も同じ場所でつまずく。