← 概念解説に戻る

Concept Fable

忠実性

先に結論:事実一致性 Faithfulness は、モデルの回答が与えられた証拠やコンテキストに忠実かどうかを測る。回答は流暢で、論理的で、大筋の方向性さえ正しいかもしれないが、証拠に支持されない内容を加えたり、事実関係を書き換えたり、結論を誇張したりすれば、faithful とは言えない。RAG システムにとって、Faithfulness はハルシネーションと証拠からの逸脱を防ぐ鍵となる指標である。

忠実性 · RAG評価

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

碑を写す男は勝ち戦を一つ多く書いた

石碑鎮に碑文を写す人がいて、字が美しかった。鎮の古い碑が風化したため、県は彼に碑文を新しい冊子に写させ、後世の閲覧に供した。

雪嶺を越えた商隊を記した碑がある。碑にはこう書かれている:商隊は雪に遭い、三十里引き返し、後に道を変えて到達した。碑を写した者は、これでは鼓舞に足りないと思った。

彼は新しい冊子にこう書いた。商隊は雪に遭っても退かず、ついに雪嶺を越えた。新しい冊子はより勢いよく読め、県令は最初彼の文才を褒めた。

商隊の子孫が先祖のルートを調べに来て、新しい冊子と家の古い手紙が食い違うのを見つけた。碑の写し手は、意味はほぼ同じで、どちらも商隊が最後にたどり着いたのだと説明した。

老史官は首を振った。碑が語るのは折り返して道を変えたことだが、新しい冊子は強行突破の成功と書いている。違うのは字面の小さな誤りではなく、記録が証拠から離れていることだ。

それ以来、碑を写す人は一句書くごとに、どの碑の何行目から来たのかを横に記すようになった。碑にないものは推測として別に書くことはできるが、碑文のふりをしてはならない。新しい冊子はそれほど劇的ではないが、より信頼できる。読者はどの一句も元の石に立ち返れると分かるからだ。

碑の写字生は当初、こう書くのはあまりに窮屈だと感じた。老史官は彼を連れて、後人が道を調べ、祠を修し、田の境界を争う場面を見せ、新しい台帳が人に決定を下させるために使われることを理解させた。

もし新冊が旧碑より口当たりがよくても、人を山道で迷わせるなら、その美しい文字は人を害するものだ。碑を写す者の職責は、物語をより勝利らしく見せることではなく、石に一体何が残されたかを読者に知らせることだ。 後に新人が入門する時、老師匠はまず抽象的な名目を講じず、あの失敗を振り返らせた。元々どこが直感に頼っていたか、最初の修補がなぜ不十分だったか、新しい取り決めがどうリスクを検査可能な位置に留めるか。彼らがこれらの細部を説明でき、いつ沿用すべきか、いつ昇級すべきかを指摘できるようになって、初めてこの方法を真に理解したと言える。 後に彼らはこの方法を新人の演練にも引き渡した。まず新人に旧方法で一度やらせ、誤りがどう現れるかを見る。次に新規則でやり直させ、どの段階が前倒しで止められ、どの段階が証拠を残したかを見る。新人が名前を暗記するだけなら、類似場面で依然として乱用する。適用境界、代価、失敗後の補救を語れる者だけが、独立して仕事を請け負うことを許される。 この関門は省けない。 現場で検証もする。 さらに他人に再検査を委ねる。 そうして初めて安心できる。

明らかにする

この物語が語るのは:忠実性

事実一致性 Faithfulness は、モデルの回答が与えられた証拠やコンテキストに忠実かどうかを測る。回答は流暢で、論理的で、大筋の方向性さえ正しいかもしれないが、証拠に支持されない内容を加えたり、事実関係を書き換えたり、結論を誇張したりすれば、faithful とは言えない。RAG システムにとって、Faithfulness はハルシネーションと証拠からの逸脱を防ぐ鍵となる指標である。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 古碑:検索された証拠、文書、コンテキスト
  • 碑文の写し手:証拠に基づいて回答を生成するモデル
  • もう一つ勝ちを書き足す:モデルが証拠に支持されない事実を追加した
  • 読むとより迫力がある。回答が流暢またはより魅力的であることは、事実が一致していることを意味しない
  • 引き返して迂回したことが強行突破の成功として書かれる:事実関係が変えられる
  • 各文に出典を明記:引用、証拠の整合、追跡可能な生成
  • 推測は推測と明記する:証拠に支えられた内容とモデルの推論を区別する
  • すべての文を揺るぎないものにする:Faithfulness は回答が証拠に拘束されることを求める

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

hallucinationgroundingcitation
京ICP备2026014272号