寓言
找资料的人和写报告的人
研究所里有两个岗位:资料员和报告员。资料员的工作是接到课题后去档案库把所有相关文献找出来,摆在报告员桌上。报告员的工作是读完这些文献,写一份综合报告。
材料组的组长老苏盯一个指标盯了半年:资料员的「找全率」。每次课题,所有已知相关的文献必须出现在报告员桌上。资料员表现很好,找全率一直维持在百分之九十六以上。老苏对这个数字很满意。
直到有个客户投诉一份报告。报告里写「该地区土壤重金属含量超标三倍」,客户拿着报告去找环保局,环保局派人实测,发现完全没问题。客户回头质问研究所:你们的依据在哪?
老苏回到档案库查那批原始文献,发现当时资料员确实把所有相关文献都找全了——五篇论文、两份监测报告、十二份土壤采样数据,整整齐齐摆在桌上。问题是报告员只翻了其中三份,剩下的大部分没看,自己凭印象补充了数据。
老苏把监控看了一遍。资料员找得全,但报告员写得飘。找全率高不代表报告质量高。老苏意识到自己只管理了输入端的质量,输出端的质量完全是盲区。
老苏新加了一个指标:每份报告都要附一份引用对照表,报告里的每一条数据结论必须标注源自哪份文献的哪一页。抽查时随机选三条结论,回原始文献核对。这个指标叫「据实率」。
几个月后数据出来,老苏发现了一个规律:找全率高的课题,据实率不一定高;但找全率低的课题,据实率没一个高的。这说明资料找得全只是必要条件,不是充分条件。两个指标各自盯着不同的环节:一个盯检索,一个盯生成。
老苏在年终汇报里写:拿到系统的找全率数据后,别急着庆祝。问一句——它找全了,它说对了吗?这两个问题之间隔着一整道生成工序。少问一句,漂亮数字底下可能压着一堆编造。