← 概念辨析に戻る

Concept Contrast Fable

コンテキストの精度と忠実性。一方は検索の関連性を測り、もう一方は回答が証拠に基づいているかを測る

先に結論:コンテキスト適合率は検索された内容のうちどれだけが本当に関連しているかを測り、忠実性はモデルが生成した回答がどれだけ検索内容に基づいているかを測る。両方の指標はRAG評価レポートに含まれるが、指し示す故障箇所は異なる:一つは検索段階で発生し、もう一つは生成段階で発生する。

コンテキスト適合率は検索された内容のうちどれだけが本当に関連しているかを測り、忠実性はモデルが生成した回答がどれだけ検索内容に基づいているかを測る。両方の指標はRAG評価レポートに含まれるが、指し示す故障箇所は異なる:一つは検索段階で発生し、もう一つは生成段階で発生する。

寓話

薬舗には二つの秤がある。一つは薬材が正しいかを量り、一つは薬方が正確かを量る。

城南の老薬舗は毎日、百以上の薬材から調合する。店員はまず関連しそうな薬を机に並べ、坐堂先生がそれに基づいて処方を出す。店主はこの流れで十分だと考えていた。

店では後に、処方を開く前に毎回八味の薬を先生に見せるよう決めた。店主は多く見せるほど処方が良くなると考えた。店員は手を抜き、最初の列の最も似た八味をそのまま差し出した。

三か月目に事故が起きた。患者は実は内寒に虚が混じっていたのに、机の上には風寒の薬が多かった。患者が「冷えた」と一言言ったからだ。先生が書いた処方は文章としては通っており、薬性も衝突しないが、実際の病症には合っていなかった。

店主は振り返りで二つの秤を置いた。第一の秤は店員を量る:運ばれてきた八味のうち、どれだけが本当に症状に合っているか?無関係な薬が混ざるほど、前の薬探しが不正確だったことを示す。

第二の秤は先生を量る。処方の一味ごとに、机上で根拠を見つけられるか。もし机上に正しい薬があるのに、先生が感覚で別のものに替えたなら、処方を書くことが証拠を守っていないことを示す。

あの事故では、両側に問題が露呈した。店員は関連する材料を混ぜ込み、先生は根拠のある附子を自分がより安心できる干姜に置き換えた。薬舗は後に分けて追及した。前者は間違った薬を探し、探薬を修める。後者は薬に従わず処方を開き、処方を修める。二本の管は互いに責任をなすりつけ合ってはならない。

店主はまた、報告書の良い数字は人を欺くと気づいた。八味のうち六味がかすっていると言うだけでは、無関係な二味が先生を誤った方向へ導く可能性を見落としやすい。

先生のどの味にも出典があると言っても、ただ壊れた薬の処方を忠実になぞっただけかもしれない。薬舗は後に二つの秤を並べて帳場の後ろに掛けた。まず持ち込まれたものが正確かを見て、次に開かれた処方が根拠を守っているかを見る。そうして誤りが互いを隠せなくなる。 後に新人が入門するとき、親方は抽象的な名目を先に講じず、あの失敗を振り返らせた。元々どこが直感に頼っていたか、最初の修補がなぜ不十分だったか、新しい取り決めがどうリスクを検査可能な位置に残すか。彼らがこれらの細部を説明でき、いつ沿用し、いつ昇格すべきかを指摘できて初めて、この方法を本当に理解したことになる。 後に彼らはこの方法を新人に演練させた。まず新人に旧方法で一度やらせ、誤りがどう現れるかを見る。次に新規則でやり直し、どの段階が事前に止められ、どの段階が証拠を残したかを見る。新人が名前を暗記するだけなら、似た場面で乱用する。適用境界、代価、失敗後の補救を言える者だけが、独立して仕事を任される。

コンテキスト精度

検索されたコンテキスト断片のうち、どれだけが実際にユーザーの質問と関連しているか。検索段階の信号対雑音比を位置づける。適合率が下がるのは、検索戦略が無関係な内容を流し込んでいることを示す。

忠実性

モデルが生成した回答が、検索されたコンテキストにどの程度まで遡及できるか。生成段階のハルシネーションや独自の脚色を特定する。忠実性が落ちれば、モデルが証拠に従って回答を書いていないことを示す。

物語の対応

  • 第一列の生薬:検索されたコンテキスト断片
  • 第二列の先生が選別したもの:フィルタリングまたは並べ替え済みの検索結果
  • 第三列の処方:モデルが最終的に生成した答え
  • 第一の秤(精度):検索結果と真の問題の関連度を測る
  • 第二の秤(忠実性):回答が検索結果から根拠を見つけられるかを測定
  • 寒症事故:適合率はまずまずだが忠実性が非常に悪い——モデルが証拠に沿って生成していない
  • 二本の管はそれぞれ異なる薬を通る:二つの指標は異なる故障箇所を特定する
  • 新ルール:精度が落ちたら検索を調べ、忠実性が落ちたら生成を調べる

RAG の評価と品質監視に落とし込む

RAG システムの評価体系を構築するとき、精度と忠実性を同じ行で見てはいけない。ユーザーが「答えが正確でない」とフィードバックしたら、まず問題を切り分ける。検索ログで精度を調べ、返された断片に本当に関連する情報があるかを見る。次に生成ログで忠実性を調べ、モデルがそれらの断片を忠実に引用しているかを見る。精度の改善方向は検索戦略、chunk 設計、embedding の品質であり、忠実性の改善方向はプロンプトの制約、出力検証、引用メカニズムである。二つの指標が同時に低い場合は、通常、検索が先に崩れ、生成が受け止められていない。

京ICP备2026014272号