寓話
存在しうる返信を先に書く
公文書館の検索員はよく曖昧な質問を受ける。来訪者は「前回のあの延期条項はどう処理したか」とだけ言うが、索引カードにはその文言を書いた文書は一つもない。
初期のシステムは直接、元の問題で資料を探した。その結果、「延期」の二文字を含む通知をよく見つける一方、本当に関連する納品変更、検収メール、補充契約を見落とした。
検索担当者はまず同義語を追加しようとした。延期、延後、推遲、順延をすべてクエリに詰め込み、再現率は上がったがノイズも増えた。読者は大量の周辺資料の中を探し回らなければならない。
一人の老館員が方法を変えた。彼はまず質問に基づいて、納期、契約条項、顧客への影響、処理提案を含む可能性のある標準返信を書き、その仮想返信を持って類似文書を探した。
不思議なことに、仮想の返信は本物の証拠ではないが、目標の答えの意味的な形に近い。そのためシステムは、元のキーワードを使っていないが確かに回答を支えられる資料を見つけ出せる。
館長はすぐに赤印を加えた。仮想の返信は検索のフックとしてのみ使え、事実の出典にはできない。最終的な答えは必ず実在の文書、実在の記録、引用可能な証拠に戻らなければならない。館では後に、ヒットした資料を階層化した。まず類似度を見て、次に出典の信頼性を見て、最後に引用できるかを見る。仮想の紙切れは扉を押し開けるが、回答に本当に残れるのは、やはり本物のアーカイブでなければならない。
リリース後、HyDE は短い質問、口語的な質問、用語が不統一なナレッジベースに特に適している。再現率を高めるが、仮想コンテンツが検索を誤った方向に導かないよう注意も必要だ。後に管理者はこの経験を日常のルールに書き加えた：まずシナリオを見て、次に境界を見て、最後に失敗時に誰が引き継げるかを見る。これらがすべて明確になって初めて、美しいデモは納品可能な仕事になる。
文書館は最後に二層の紙を残した。第一層は道を見つけるための仮想文書であり、第二層こそが回答に用いる真の証拠である。老館員はさらに、仮想の返信は質素にし、具体的な事実をあまりに多く捏造してはならないと定めた。それは問題が向かう可能性のある形を描くことだけを担い、存在しない日付、金額、人名を検索に持ち込んではならない。