← 概念辨析に戻る

Concept Contrast Fable

検索精度とコンテキスト精度

先に結論:検索精度は、召回された文書のうちどれだけが関連しているかを測る。コンテキスト精度は、最終的に大規模モデルに与えられたテキストのうちどれだけが有用かを測る。間に再整理と切り詰めが挟まり、二つの数はしばしば一致しない。

検索精度は、召回された文書のうちどれだけが関連しているかを測る。コンテキスト精度は、最終的に大規模モデルに与えられたテキストのうちどれだけが有用かを測る。間に再整理と切り詰めが挟まり、二つの数はしばしば一致しない。

寓話

倉庫のピッキングと厨房の仕込み

城北に高級レストランがあり、その評判は看板料理に支えられていた。厨房の流れはこうだ。ウェイターが客の注文を厨房に送り、配菜係が倉庫へ食材を取りに行き、料理人に渡す。料理人は食材を受け取ると、選別し、洗い、切り分け、鍋に入れる。

しばらくの間、苦情率が突然上昇した。客は料理に砂が入っている、あるいは付け合わせが新鮮でないと言った。店主が監視カメラを調べると、倉庫のピッキングに問題はなかった——配菜員が倉庫から持ち帰った食材は、八割が献立と一致していた。倉庫の正確率は十分だった。

問題は厨房の作業台にあった。料理人は食材を受け取ると、一つずつ確認せず、すべてを一度に籠に放り込んだ。腐った葉は選らず、泥のついた根は切り、期限切れの調味料は嗅がなかった。倉庫から鍋へのその一歩で、食材は汚染された。

店主は長いこと考え、プロセスに新しい職務を加えた:下ごしらえ検査員。この人の作業台は倉庫の出口とコンロの入口の間にあり、配菜係が持ち帰った食材を受け取り、腐った葉を摘み、泥のついた根を切り、重複する材料をまとめ、期限切れの調味料を選り出して捨て、最後に分類され清潔な下ごしらえ籠を料理人に手渡す。

このステップを加えてから、店主は二つの指標を見始めた。一つは倉庫ピッキング正確率:倉庫から持ち帰った食材のうち、メニューに本当に必要なものがどれだけあるか。もう一つは下ごしらえかご可用率:最終的に料理人に渡った食材のうち、すぐに鍋に入れられるものがどれだけあるか。

半年が過ぎ、店主は一つの法則に気づいた。倉庫のピッキング正確率は85%前後で推移するが、調理かごの可用率は95%まで達成できる。調理かごの検査員は明らかに間違ったものを捨て、重複する材料を統合し、漏れた調味料を補い、鮮度の落ちた部位を切り落とすことを知っているからだ。倉庫のデータは一つの話であり、調理かごのデータはまた別の話である。

後に社長は同業者に経験を共有した。倉庫の数字が立派かどうかだけを見てはいけない。客が口にするのは盛り付け用の菜籠であり、倉庫の入庫伝票ではない。

後に館員はもう一つの関門を加えた:まず探し出した本が正確かを見て、次に机に運ばれたページがきれいかを見る。二つのふるいはついに分かれた。 後に館員は毎回の振り返りで二か所に赤い印を付けた:一つは書架の検索に、一つは机の材料に。問題はこれで落としどころを得た。

検索精度 (Retrieval Precision)

検索段階で返された文書のうち、クエリに真に関連するものの割合。これは「倉庫から持ち帰ったものが正しいか」を測る。

コンテキスト精度 (Context Precision)

最終的にプロンプトコンテキストに組み込まれるテキストのうち、回答生成に実際に役立つ割合。これは「大規模モデルが見たものに有用性があるか」を測るもので、途中で重複排除、切り詰め、再並べ替えなどの後処理を経ている。

物語の対応

  • 倉庫のピッキング:検索段階で、文書ライブラリから関連文書を呼び出す。
  • 配菜係が持ち帰った食材:検索結果(生の召回ドキュメントリスト)。
  • 下ごしらえ検査員(選別、洗浄、切り分け):コンテキスト後処理——重複排除、切り詰め、並べ替え、フィルタリング。
  • 下ごしらえかご:最終的に大規模モデルに送られるコンテキスト断片。
  • 客が料理に砂が入っていると苦情を言う:コンテキスト精度が低く、検索精度が悪くなくても、最終的な生成品質は損なわれる。

プロジェクトに落とし込む

RAG システムを本番投入する前に、両方の指標を測る必要がある。検索精度が低ければ、検索戦略に問題があり、embedding や検索パラメータを調整する必要がある。検索精度が高くても文脈精度が低ければ、後処理チェーンが情報を失っているかノイズを持ち込んでいる——切り詰め戦略が不合理、文書順位が乱れている、または重複内容が文脈ウィンドウを埋めている可能性がある。多くのチームは検索精度だけを見て「RAG 精度 90%」と宣言し、本番後にユーザーに罵られる。原因はここにある。

京ICP备2026014272号