寓話
十本の矢のうち何本が的を射たか
アフターサービス城の門に新しい告示が掲げられた：ナレッジベース検索が稼働開始。顧客が質問するたびに、装置一式が10件の資料を探し出し、回答係に渡して返信を書かせる。最初の週、皆は興奮していた。装置一式は、ほぼ常に何かしら関連しそうな段落を見つけられた。主管は山ほどの資料を見て、毎回結果が出るのだから検索は悪くないはずだと言った。しかし顧客の苦情は減らなかった。回答係は言った：資料はあるが、実際に使えるのは2、3段落だけで、残りは製品名、バージョン番号、よくある言い回しを共有しているにすぎない。職人はまず返却数を10件から5件に減らした。机の上はすっきりしたが、重要な証拠が時々削られた。さらに20件に増やすと、証拠は増えたがノイズも戻ってきた。
そこで彼らは検証ターゲット表を作り始めた。各質問について、どの段落が実際に質問に答えているかを人手でマークし、装置全体が返してきた結果のうち、どれだけの割合が命中しているかを計算した。
あるライセンス問題で、装置全体は十段を返したが、本当に関連するのは四段だけだった。以前は皆「たくさん見つかった」と言うだけだったが、今は認めざるを得ない。十本の矢のうち、的を射たのは四本だけである。
この数字が議論を変えた。チームは感覚を争うのではなく、異なる 座標法、chunk サイズ、reranking 戦略の下で命中率がどう変わるかを見るようになった。
主管も、高い適合率が万事順調を意味しないことに気づいた。もし二つの段落だけが返り、どちらも関連していれば、割合は高いが、重要な政策を見落とすかもしれない。適合率は再現率と一緒に見なければならない。
これ以降、検索装置全体の受け入れは、ページに結果があるかどうかではなく、機関に返されるコンテキストのうちどれだけが本当に見るべき証拠であるかで判断されるようになった。
検靶表はまた、回答者から多くの口論を減らした。以前は彼が材料は使えないと言い、職人はもう見つけたと言った。今は各段落を靶に貼り、命中は命中、かすりはかすりだ。
数回の調整後、主管は同時に二つのことを見始めた。持ち帰った紙のうち実際に使えるものがどれだけあるか、そして本当に見るべき紙を見落としていないか。城門の告示も変わり、「見つけられる」と誇るのではなく、「持ち帰った証拠は照合に耐える」と約束した。