← 概念辨析に戻る

Concept Contrast Fable

答えが資料に沿って述べているか、問いに答えているか

先に結論:RAG の出力は二つの検査を同時に耐えなければならない。与えられた資料に忠実か、ユーザーの問いに本当に応えているか。忠実だが的外れならユーザーの時間を浪費し、関連するが根拠がなければリスクを生む。

RAG の出力は二つの検査を同時に耐えなければならない。与えられた資料に忠実か、ユーザーの問いに本当に応えているか。忠実だが的外れならユーザーの時間を浪費し、関連するが根拠がなければリスクを生む。

寓話

巻宗を写すだけの書記と会話ができる書記

城南公所は相談窓口を設け、民衆が問題を持って訪ねて来ると、書記は櫃の中の巻宗に基づいてのみ答えることができた。最初の書記は非常に慎重で、巻宗に書いてある通りに書き写し、言葉遣いさえ変えようとしなかった。周囲は彼を信頼できると言い、彼もそれを自らの拠り所とした。

ある日、店の看板を街の庇の外まで出せるかと誰かが尋ねた。書記は看板の色に関する規定のページを開き、三段を丁寧に書き写し、末尾に出典も記した。来た人はさらに困惑した。彼が尋ねたのは位置であり、色ではなかったからだ。書記は嘘を書かなかったが、問題は解決しなかった。

二人目の書記は人の話をよく聞く。彼は街檐の外の三文字を聞くと、すぐに通行幅、近隣からの苦情、承認手続きを説明し、来訪者は何度も頷いた。しかしそのうちの一つ「雨季は吊り下げ禁止」は巻宗にはなく、彼が別の場所で聞いた習慣にすぎなかった。話は的を射ているが、裏付けはなかった。

二人の書記はともに店主に呼ばれて振り返りを行った。一人目は不服で、自分の言葉はすべて巻宗に見つかると言った。二人目も不服で、来た人が必要としていたのはまさに自分の回答だと言った。店主は答えを二列に分けさせた。一列は対応する巻宗を示し、一列は対応する問いを示す。

結果は明らかだった。第一位のどの言葉にも出典があったが、看板の位置に触れたのはほんの一小段だけだった。第二位はほとんどの段落が問いに応えたが、いくつかの文は巻宗に見つからなかった。一方はユーザーに正しい材料を持って去らせ、もう一方はユーザーに誤っているかもしれない助言を持って去らせた。

公所は後にプロセスを変えました。書記はまず問題の核心を確認し、その核心に答えられる巻宗だけを取り出しました。答えを書く時、各重要な判断は材料に戻れるようにしました。材料が網羅していない箇所に遭遇したら、巻宗に記載なしと言う方を選び、聞きかじった経験で規定を補うことはしませんでした。

窓口前の争いは減った。百姓は、聞こえの良い返答だけを求めておらず、問題に命中しない写し文の山も求めていない。信頼できる回答は、材料に足を置きつつ、問題にも落ちなければならない。店主はさらに、書記に空白を残す勇気を求めた。巻宗が半分しか答えられないなら、答えられる部分を明確にし、欠落は人手による検証に残す。周到に見せるために欠落を事実で埋めてはならない。毎週の振り返りでは、誤答を的外れと根拠なしの二つの籠に分ける。そうして初めて修正方法が混乱しない。二つの籠を分けると、巻を取る人と答えを書く人も、それぞれどこを直すべきか分かる。

忠実性

忠実性は、回答が与えられたコンテキストに支持されているかを検査し、モデルが材料に書かれていないことを事実や結論として書くのを防ぐことに重点を置く。

回答関連性

回答関連性チェックは、回答がユーザーの質問に応えているかを確認する。根拠があっても質問の目的から外れていたり、使える情報が欠けていたりするのを防ぐことが重点。

物語の対応

  • 巻宗どおりに写すが看板の色を答える:高忠実性だが低い回答関連性
  • 相槌は打てても雨季ルールを追加:高関連性だが低忠実性
  • 答えを巻宗に照合:faithfulnessを確認
  • 答えを問題の核心に結び直す:answer relevance を確認する
  • 資料に載っていなければ明言する:真の RAG システムが証拠の欠落に対処する安全な方法

出力品質評価に落とし込む

RAG を評価するときは「答えが良いか」だけを問わない。まず重要な主張がすべて文脈に支持されているかを見て、次に回答がユーザーの意図に合致しているかを見る。カスタマーサポート、法務、調達、医療などの場面では特に分けて記録すべきである。関連するが根拠がないのはコンプライアンスリスクであり、忠実だが的外れなのは体験と効率の問題である。

京ICP备2026014272号