← 概念解説に戻る

Concept Fable

幻覚

先に結論:ハルシネーション Hallucination とは、モデルがもっともらしく聞こえるが実際には誤っていたり、証拠に支持されなかったり、でっち上げたりした情報を生成することである。これはモデルが欠けた事実を補完しようとする時、過度に自信を持って答える時、類似情報を混同する時、信頼できるコンテキストを欠く時によく起こる。企業 Agent にとって、ハルシネーションの危険は単に誤答にとどまらず、誤った内容が意思決定、顧客対応、契約、コード、業務システムに入り込む可能性があることだ。

ハルシネーション · LLMの挙動

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

まるで実際に見てきたかのように語る地図師

遠行鎮に一人の地図師がいて、口が達者だった。旅人が北山への行き方を尋ねると、彼は川、林、駅、山道を語り、何度も自分で歩いたかのように聞こえた。ある日、商隊が銀鉱への道を描いてほしいと頼んだ。地図師は紙を広げ、石橋を一つ、松林を三つ、古井戸を一つ描いた。橋を渡って西へ、井戸を見たら右に曲がれば銀鉱に着くと言った。商隊はそのとおりに進み、沼地に着いた。そこには石橋も古井戸もなかった。

隊商が戻って彼を問い詰めた。地図師は驚き、自分は故意に人を騙したのではなく、南のいくつかの道の様子から北も同じだろうと推測しただけだと言った。石橋はよくあり、古井戸もよくある。このルートはもっともらしく聞こえた。

老案内人は聞き終えると、古い地図を広げた。あなたが描いた道は確かな見聞から来たものではなく、ただ存在すべきだと思っただけだ。本物の地図のようでいて、人を導くことはできない。

地図師は弁明した。多くの場合、彼の推測は確かに役に立つ。老向导はうなずいた。雑談の中では、合理的な推測は無害かもしれない。しかし商隊が荷物、時間、リスクを抱えて道に出るとき、本当のように聞こえる誤りは、「知らない」の一言より危険だ。

町は後に地図師に三つの規則を定めた。自分の目で歩いた道は実線で、人から聞いた道は破線で、推測にすぎない道は道として描いてはならない。重要なルートは古い地図と道標を確認しなければならない。不確かなときは明言すること。

町長はまず地図師に、もっとゆっくり話し、慎重な口調で話すよう命じた。しかし遅くしても存在しない石橋は現れず、慎重にしても旅人の道は見つからない。本当に変えるべきは、各ルートのそばに実測・伝聞・推測を必ず記し、三つを同じ墨線で描いてはいけないことだった。

後に旅人が再び道を尋ねると、地図師はまず古い地図、道標、案内人の証言を並べた。証拠のない場所には、彼はむしろ空白を残し、美しい山の線で紙面を埋めようとはしなかった。隊商は気づいた。空白は見苦しくても、自信に満ちた偽の道より信頼できる。

地図は伝説的な色彩を失ったが、より多くの隊商を救った。信頼できる図は空白を急いで埋めようとせず、どこがまだ空白かを知っている。

明らかにする

この物語が語るのは:ハルシネーション

ハルシネーション Hallucination とは、モデルがもっともらしく聞こえるが実際には誤っていたり、証拠に支持されなかったり、でっち上げたりした情報を生成することである。これはモデルが欠けた事実を補完しようとする時、過度に自信を持って答える時、類似情報を混同する時、信頼できるコンテキストを欠く時によく起こる。企業 Agent にとって、ハルシネーションの危険は単に誤答にとどまらず、誤った内容が意思決定、顧客対応、契約、コード、業務システムに入り込む可能性があることだ。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 地図師:生成モデル。パターンに基づいて一貫した内容を組織するのが得意
  • 石橋、松林、古井戸:具体的で信憑性があるように聞こえるが、証拠に裏付けられていない細部
  • キャラバンが沼地へ入る:幻覚の内容が実際の行動に使われ、損失を生む
  • 南側の道路から北側を推測する:モデルは事実検証ではなくパターン補完に基づく
  • 本物の地図のようだが地図ではない:流暢で具体的であることは真実であることと同じではない
  • 実線、破線、道として描けない線:既知の事実、伝聞情報、推測を区別する
  • 古い図と道標を調べる:検索、引用、事実検証、ツール検証でハルシネーションを低減する
  • どこがまだ空白かを知る:信頼できるシステムは不確実性を表現できなければならない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

grounding事実性RAG不確実性評価
京ICP备2026014272号