寓話
資料を探す人と報告書を書く人
研究所には二つの職務がある：資料員と報告員。資料員の仕事は課題を受けたら文書庫へ行き、関連文献をすべて探し出して報告員の机に並べること。報告員の仕事はこれらの文献を読み、総合報告書を書くこと。
材料班の班長である老蘇は、半年間ある指標を見つめていた。資料員の「網羅率」である。課題のたびに、既知の関連文献がすべて報告員の机に並ばなければならない。資料員の働きはよく、網羅率は常に九六パーセント以上を維持していた。老蘇はこの数字に満足していた。
ある顧客が報告書について苦情を出すまで続いた。報告書には「この地域の土壌重金属含量は基準の三倍を超えている」と書かれ、顧客はそれを手に環境保護局へ行き、環境保護局が人を派遣して実測したところ、全く問題がなかった。顧客は研究所に問い詰めた。あなたたちの根拠はどこにあるのか？
老蘇は文書庫に戻り、その一連の原資料を調べたところ、当時の資料係は確かに関連文献をすべて揃えていた——論文五本、監測報告二部、土壌サンプリングデータ十二件が、きちんと机の上に並べられていた。問題は、報告員がそのうち三つしか目を通さず、残りの大半を見ずに、自分の印象でデータを補ったことだった。
老蘇は監視記録を一通り見た。資料係は漏れなく集めていたが、報告係の報告は浮ついていた。収集率が高いことは報告の質が高いことを意味しない。老蘇は、自分が入力側の品質しか管理しておらず、出力側の品質は完全な盲点だと気づいた。
老蘇は新しい指標を一つ加えた。各報告書には引用対照表を添付し、報告書内の各データ結論はどの文献の何ページに由来するかを明記しなければならない。抜き取り検査では無作為に三つの結論を選び、原文献と照合する。この指標を「据実率」と呼ぶ。
数か月後、データが出て老蘇はある法則に気づいた。網羅率が高い課題でも、根拠忠実率が高いとは限らない。しかし網羅率が低い課題では、根拠忠実率が高いものは一つもなかった。つまり資料を網羅的に集めることは必要条件であって、十分条件ではない。二つの指標はそれぞれ別の工程を見ている。一つは検索、もう一つは生成だ。
老蘇は年末報告に書いた。システムの網羅率データを手に入れたら、すぐに祝うな。一つ問え——それは網羅したか、正しく言ったか。この二つの問いの間には、一工程分の生成が挟まっている。一つ問いを省けば、美しい数字の下に捏造の山が圧し掛かっているかもしれない。