← 概念辨析に戻る

Concept Contrast Fable

検索の再現率とコンテキストの再現率

先に結論:二つの指標はどちらも「再現率」と呼ばれ、どちらも「網羅性」に関わる。しかし一方は倉庫からどれだけ取り出せたかを測り、もう一方は実際に作業者の手元へ届いたものが十分に揃っているかを測る。数字を読み違えれば、実際のプロセスの弱点を見逃す。

二つの指標はどちらも「再現率」と呼ばれ、どちらも「網羅性」に関わる。しかし一方は倉庫からどれだけ取り出せたかを測り、もう一方は実際に作業者の手元へ届いたものが十分に揃っているかを測る。数字を読み違えれば、実際のプロセスの弱点を見逃す。

寓話

二つの完全率レポート

老陳は部品組立工場で品質検査主管をしている。工場には二人の検査員がいて、一人は趙、もう一人は銭という。二人の仕事はどちらも「漏れなく検査する」と呼ばれるが、立っている位置が違う。

趙品質検査員は倉庫の門口に立っていた。新しい注文が来るたびに、作業員は倉庫へ部品を取りに行き、趙検査員は照合した。取るべき部品はすべて取られたか?漏れはないか?取り違えはないか?月末の報告書で、趙検査員の数字は見事だった——取件完全率九十八パーセント。

銭品質検査は組立台のそばに立っていた。彼の仕事は確認することだ:実際に組立台に届けられた部品パックの中に、すべてが揃っているか?運搬中に落ちたものはないか?臨時に交換されたものはないか?月末の報告書では、銭品質検査の数字はあまり見栄えがしなかった——組立完全率はわずか八十四パーセントだった。

工場長は二つのレポートを見て、不思議に思った。同じバッチの注文で、倉庫の取件完全率は九十八パーセントなのに、組立台に来ると八十四パーセントしかない。間の十四ポイントはどこへ行ったのか。

工場長は趙検査員と銭検査員を呼び寄せ、伝票ごとに突き合わせさせた。突き合わせるとすぐに問題が見つかった。一部の部品は倉庫から取り出されたものの、仕分けエリアで調度員が急ぎの注文へ一時的に回してしまい、趙検査員はそれを全く知らなかった。彼の検査は倉庫の門口までしか及んでいなかったからだ。また、規格は合っているがバージョンが違う部品もあった。旧版の部品は倉庫では「取得済み」と数えられるが、組立台に来ると取り付けられず、銭検査員はそれを「欠落」と記録するしかなかった。

工場長は理解した。趙品質検査官が測るのは倉庫から仕分け区画までのこの区間であり、銭品質検査官が測るのは部品パックが最終的に組立台に到達した時の状態だ。二人とも「完全率」という同じ物差しを使っているが、測っているのは同じプロセス区間ではない。

それ以来、工場長は選別区と組立台の間に受け渡し登録点を設け、あらゆる部品の移動が記録されるようにした。彼はもはや一つの数字だけを見ず、倉庫完全率と組立完全率を別々に追跡し、部品を落とした者が責任を負うようにした。

年末総括で、工場長は同業者に一つの経験を共有した:倉庫のレポートが良く見えるからといって、組立台に問題がないと思うな。一つのシステムでは、取得できることと使えることの間に、一整套の物流が隔てている。

検索再現率

検索システムが知識ベースから関連文書をどれだけ取り戻したかを測る。注目するのは「検索という段階をやり切ったか」であり、その後の文書の使い方とは関係ない。

コンテキスト再現率

最終的にモデルのコンテキストウィンドウに収められた情報が、回答に必要なすべての重要証拠を網羅しているかを測る。注目するのは「最終的に使われたものが揃っているか」であり、検索後にも切り詰め、並べ替え、フィルタリングを経ることがある。

物語の対応

  • 倉庫の入り口:検索システムの出口であり、検索の再現率がこの区間を測る。
  • 組み立て台:モデルが最終的に見るコンテキストウィンドウ。コンテキスト再現率はこの区間を測る。
  • 仕分け区の调度員が部品を抜き取る:検索後の再並べ替え、切り詰め、フィルタリングが関連内容を捨ててしまう。
  • バージョンが合わず取り付けられない:検索された文書内容は関連するが情報が一致せず、コンテキスト評価で欠落と判定される。
  • 14パーセントポイントの差:二つの再現率の間の落差は、通常 RAG システムにおけるランキングと切り捨て戦略の問題だ。

プロジェクトに落とし込む

RAG システムを評価するたびに、二つの再現率を同時に記録します。検索再現率が低ければ、問題はベクトルモデル、インデックス戦略、または知識ベースの網羅性にあります。検索再現率が高くてもコンテキスト再現率が低ければ、問題は再ランキング、切り詰めウィンドウ、またはフィルタリングロジックにあります。二つの数字を同じ表に並べて比較することは、どちらか一方だけを見るより有用です。

京ICP备2026014272号