← 概念辨析に戻る

Concept Contrast Fable

幻覚検出と事実検証:一方はモデルがでっち上げていないかを見て、もう一方は答えが正しいかを見る

先に結論:多くの人は、モデルがでたらめを言うことの検出と、答えの真偽の確認を同じことだと思っている。幻覚検出が注目するのは、モデル出力内部が自己整合しているか、捏造の痕跡があるかどうかであり、事実核験が注目するのは、出力が外部知識ベースや現実世界と一致するかどうかである。二つの指標が同時に良くて初めて、品質は本当に合格する。

多くの人は、モデルがでたらめを言うことの検出と、答えの真偽の確認を同じことだと思っている。幻覚検出が注目するのは、モデル出力内部が自己整合しているか、捏造の痕跡があるかどうかであり、事実核験が注目するのは、出力が外部知識ベースや現実世界と一致するかどうかである。二つの指標が同時に良くて初めて、品質は本当に合格する。

寓話

品質検査工場の二つの灯り

精密部品工場が一人の作業報告書記を雇い、毎日、職人の口述する生産状況を報告書にまとめさせた。彼の文章は流暢で、店主はとても気に入っていた。ある報告書に「三号旋盤は新しい軸受に交換済み」と書かれるまでは。修理職人はそれを見てぎょっとした。三号旋盤はまったく修理されていなかったのだ。

品質検査員はまず一つのことをしました。報告書の中で、でっち上げられたように見える文を探したのです。彼は「新しい軸受」「夜勤で完了」「在庫十分」を一文ずつ囲み、書記に出典を出すよう求めました。出典を出せないものは、疑わしい発言として印を付けました。

しかし別の報告が彼を困らせた。書記は「二号旋盤は本日百二十個を生産」と書いた。この文には出所があり、夜勤が口頭で言ったものだった。しかし倉庫記録は百八個しかなかった。それは根拠なく言ったものではないが、それでも誤っている可能性がある。

老工場長は二つの検査を分けた。第一は、報告に出典のない内容、前後の矛盾、でっち上げのように聞こえる内容がないかを見る。第二は、各重要事実を作業票、倉庫証、修理記録、師匠の署名と照合する。前者はでたらめを捉え、後者は真偽を確かめる。

後に報告を納品する前、品質検査マニュアルに二欄が増えた。左欄は問う:この文はどこから来たのか、勝手に細部を補っていないか?右欄は問う:たとえ出典があっても、それは検証可能な証憑と一致するか?左欄を通れない文もあれば、左欄は通れるが右欄を通れない文もあった。

主人は疑わしい発言を囲めば十分だと思い、書記にその文を削除するよう求めた。翌日の報告は保守的になったが、真実でありながら出典が書かれていない重要情報を依然として見落とす可能性があった。また、一見平凡な文でも実際の数字が間違っているものもあった。作られたものかどうかを判断するだけでは、事実の真偽を証明できない。

そこで品質検査員は二つの工程に分けた。第一の工程は報告書にありもしない断言が紛れ込んでいないかを見つけ、店主にどこに注意すべきかを知らせる。第二の工程は修理伝票、倉庫票、師匠の署名を項目ごとに照合し、三号旋盤が本当に修理されたか、在庫が実際いくらかを確認する。一つは疑わしいものの発見を担当し、一つは事実の検証を担当する。両方が必要であり、互いに偽ってはならない。

書記の報告はそのため短くなったが、より信頼できるものになった。工場も「聞いて胡編でなさそう」を「事実が承認済み」と誤認しなくなった。捏造の兆候を捉えるのは、第一層のふるいでしかない。事実を証拠に戻して照合してこそ、正式な作業報告に書き込めるかが決まる。

ハルシネーション検出

モデル出力に捏造、矛盾、不整合が存在するかを判断し、出力自体の信頼性を検査する。

ファクトチェック

モデル出力を外部知識源や実データと照合し、内容が客観的事実に合うか判断する。

物語の対応

  • 第一の灯は部品自身の欠陥を検査する:幻覚検出、出力が自己整合的か、捏造がないかを見る
  • 第二の灯の試し型合わせ:ファクトチェック、出力が外部事実と一致するか確認する
  • 総合スコアが型に嵌まらない問題を覆い隠す:指標の統合が真の品質分布を見えなくする
  • 夜回りが寝言を聞き分ける:hallucination detection が疑わしい出力を先に発見
  • 帳簿係が項目ごとに帳簿を調べる:fact verificationは外部の事実を突き合わせて一つずつ確認する必要がある

Agent プロジェクトに落とし込む

一つの「正確率」指標で幻覚と事実の二種類の問題を同時に覆ってはいけない。幻覚検出は自己整合性や捏造率で追跡するのに向いており、事実検証には独立した知識ベースとの照合プロセスが必要である。二種類の指標にそれぞれ閾値を設け、それぞれでアラートを発すれば、品質に問題が起きたとき、どの線が切れたのかを一目で見分けられる。

京ICP备2026014272号