← 概念辨析に戻る

Concept Contrast Fable

検索精度と検索再現率

先に結論:適合率と再現率は検索システムで最も互いに縛り合う指標の一つだ。適合率は見つけたもののうち何件が正しいかを問い、再現率は見つけるべきもののうち何件を見つけたかを問う。一方を上げると他方が下がることが多い——詰め込むほど検索結果は網羅的になるが、ノイズも混じりやすい。片方の数字だけ見ると美しくても、もう片方の崩壊を隠しているかもしれない。

適合率と再現率は検索システムで最も互いに縛り合う指標の一つだ。適合率は見つけたもののうち何件が正しいかを問い、再現率は見つけるべきもののうち何件を見つけたかを問う。一方を上げると他方が下がることが多い——詰め込むほど検索結果は網羅的になるが、ノイズも混じりやすい。片方の数字だけ見ると美しくても、もう片方の崩壊を隠しているかもしれない。

寓話

城の小新聞の二人の配達人、一人は選り抜き、一人は網羅する

町の小新聞は二人の飛脚を雇い、市場からニュースの手がかりを集めさせた。老石は古参で、市場を四十数年走り、持ち帰るどの消息も信頼できたが、多くない五六条の中ではいつもいくつかの重要なものを漏らした。小顧は新入りで、朝のうちに四十条の消息を持ち帰り、市場のほぼ隅々を網羅したが、そのうち十二三条は重複か不正確だった。

編集長は最初、老石だけに目を向けていた。老石の原稿は審査不要で、そのまま紙面に組まれるからだ。小顧の原稿はいつも一度読んでは削り、時間の無駄だとこぼしていた。しかしある号で市の偽物を報じたとき、老石は問題のある三家を報告し、小顧は十一家を報告した——事後の調査で確かに十一家すべてに問題があり、老石は八家を見落としていた。その八家のうち一家が後に中毒事件を起こし、新聞は激しく批判された。

主編はそこで理解した。老石の問題は探し方が悪いのではなく、そもそもあの隅々に行っていないことだ。彼の適合率はほぼ100パーセントだが、再現率は3割未満。小顧の再現率は9割超だが、適合率は6割しかない。1人の信使で2人を代替すると、安全だが大事を見逃すか、網羅的だが毎日審稿することになる。

編集部は三日間会議を開き、二人の伝令の役割を再分担した。老石は検証を担当——小顧が四十件を検索して戻り、老石はその中から最も信頼できる部分を選び、再審不要とし、別に二巡目の確認が必要なものを標記する。小顧は検索のみを担当し、重複や粗略であっても制限しないが、各手がかりには情報源レベルを付す。

新しい組版工程も変わった。一面には老石が検証済みのニュースだけを載せ、後ろに小顾が集めた全手がかりの一覧を付け、未確認、確認済み、除外済みの三類に分類した。読者は自分で情報源の等級を判断できるが、新聞は検証済みの部分にのみ責任を負う。

新聞のやり方は同業者に長く議論されたが、半年後にはそうすべきかどうかを争う人はいなくなった——皆が争ったのは適合率をいくつに設定するか、再現率をいくつに設定するかだった。各新聞は自社の人員、予算、読者の許容度に応じて異なるバランス点を選んだ。

編集長は後に新編集者に一言だけ伝えた:適合率は信用を守るためにお金を使うことで、再現率は漏れを避けるためにお金を使うことだ。この二つの出費は互いの予算にはできない。

検索精度

検索で返された結果のうち関連項目が占める割合。無関係な内容を出さない能力を測る——精度が高いほど、ユーザーが見るノイズは少ない。

検索再現率

すべての関連項目のうち、検索システムが正常に取り戻せた割合。システムがすべての関連内容をカバーする能力を測る。再現率が高いほど、見落とす重要情報が少ない。

物語の対応

  • 老石(精度):拾ってきたものはすべて正しいが、大量の重要情報を取りこぼした
  • 小顧(再現率):ほぼすべての手がかりを見つけたが、大量のノイズが混入した
  • 偽造品事件:適合率だけを追求したことによる壊滅的な見落とし
  • 三層審査:実際のシステムでは高再現率で一次選別し、高精度で最終選別する
  • 新聞ごとに異なる均衡点:適合率と再現率のトレードオフはシーンと予算に依存する

Andy(任旭)のプロジェクトに落とし込む

適合率と再現率を切り離して見てはならない。優れた RAG 検索経路は通常、まず高い再現率で候補を引き戻し、次に再ランキングやフィルタリング機構で適合率を高める。顧客に指標を説明するときは、適合率 95% と言うだけでなく、再現率がいくつかを同時に伝えるべきである。顧客が本当に気にしているのは、あなたのシステムが訴訟に負けたり契約を失ったりする原因となる重要な情報を漏らさないかどうかである。

京ICP备2026014272号