← 概念辨析に戻る

Concept Contrast Fable

コンテキストに送り込まれる正確さと完全さ

先に結論:RAG が誤答するとき、問題はコンテキストに詰め込まれた材料が雑すぎることかもしれないし、重要な材料がそもそも取得されていないことかもしれない。コンテキスト精度は無関係な内容に罰を与え、コンテキスト再現率は証拠の欠落に罰を与える。

RAG が誤答するとき、問題はコンテキストに詰め込まれた材料が雑すぎることかもしれないし、重要な材料がそもそも取得されていないことかもしれない。コンテキスト精度は無関係な内容に罰を与え、コンテキスト再現率は証拠の欠落に罰を与える。

寓話

判官の机の上の証言と欠席した目撃者

県衙が田畑の一件を審理し、師爺は案巻を判官の机に届ける役だった。最初は証拠を漏らすのを恐れ、族譜、隣里の噂話、十年前の無関係な租契まで持ち込んだ。判官は夜までめくり、本当の境界碑の証文は紙の山の下に圧し潰されていた。

二度目、師爺は教訓を活かし、最も重要と思われる紙を三枚だけ送った。机の上はすっきりしたが、境界変更の手紙を見落とした。判官は危うく旧境界で土地を裁きかけたが、隣村がすぐに冤罪を叫んだ。

老判官は彼に二つのことを区別させた。机の上の材料はきれいにし、無関係な紙を混ぜないこと。さもなければ判断がノイズに引きずられて遅くなる。机の上の材料は揃えること。重要な証言が欠けてはならない。さもなければどんなにきれいでも判断を誤る。

師爺は後にまず「必ず到场」の証拠を列挙した。主契、改界信、界碑記録、直近の納税冊。次に無関係な雑談、重複した写本、かすっただけの人情信を除外した。ある資料に自信がなければ、こっそり大きな束に混ぜるのではなく、脇に理由を書いた。

次の審案では、判官の机には十数ページしかなかったが、すべての重要事実を網羅していた。判官は速く読み、見落としも減った。

判官は師爺が二度とも分寸を誤ったと責めた。師爺も委屈だった:多く送れば乱れを恐れ、少なく送れば漏れを恐れる。三度目に、彼はまずすべての可能な証拠を地面に並べ、争議との関係で山分けした:界碑、改界信、当年の証人は前に、遠い親戚の族譜と噂話は後ろに。

判官はついに核心証拠に沿って事件を審理でき、必要なときには補足資料も調べられるようになった。机の上に関連する紙が多ければ多いほど、判断は機敏になる。しかし重要な紙が一枚欠ければ、どんなに整っていても危険である。一つは送られてきた資料がどれだけきれいかを試し、一つは来るべき資料が来ているかを試す。両者が引き合うことで、事件は紙の山に埋もれたり、遺漏に引きずられたりしない。師爺はその後、巻物を送るたびにまず二つのことを問うた。机の上に余計な枝葉が混じりすぎていないか、本当に判決を変えうる紙が欠けていないか。二つの問いのどちらかが欠ければ、判官は引きずられる。

判官は巻を回収するとき、材料を送るのは法廷の証拠を準備するようなものだと言った。正確とは、無用な紙を少なく送ること。完全とは、致命的な紙を漏らさないこと。正確だけを求めると骨が欠けるほど痩せ、完全だけを求めると見えなくなるほど太る。良い師爺はこの二つの線を同時に守らなければならない。

コンテキスト精度

コンテキスト精度は、モデルのコンテキストに送られた内容のうち、どれだけが本当に問題と関連しているかを測る。ノイズ、妨害、無関係な証拠による品質低下に注目する。

コンテキスト再現率

コンテキスト再現率は、取得されるべき関連内容のうち、実際にどれだけがコンテキストに入ったかを測る。重要な証拠の欠落による回答の不完全さに注目する。

物語の対応

  • 判官の机:モデルに渡すコンテキストウィンドウ
  • 無関係な雑談と古い帳簿:低いコンテキスト精度がもたらすノイズ
  • 欠席した脚夫の証言:低いコンテキスト再現率が重要な証拠の見落としを招く
  • 各紙が有用かどうかを注記する:context precision を評価
  • 壁の重要証言リスト:context recall を評価するには、取得されるべき証拠集合を参照する必要がある

RAGの評価に当てはめると

モデルの引用が混乱し、回答が枝葉の資料に引きずられる場合は、まず context precision を確認する。回答はきれいに見えても条件、例外、タイムラインを欠く場合は、まず context recall を確認する。実際のプロジェクトでは二項目を別々に記録しなければ、チームは検索の再現率、ランキング、コンテキストの切り詰めの問題を混ぜて直してしまう。

京ICP备2026014272号