← 概念辨析に戻る

Concept Contrast Fable

ハイブリッド検索と密検索

先に結論:密検索はベクトルで意味の近い内容を探し、ハイブリッド検索は密検索とキーワードマッチングを組み合わせて使う複合戦略である。組み合わせを部品として見ると、一連のプロセスで本当に効いているもう半分を見落とす。

密検索はベクトルで意味の近い内容を探し、ハイブリッド検索は密検索とキーワードマッチングを組み合わせて使う複合戦略である。組み合わせを部品として見ると、一連のプロセスで本当に効いているもう半分を見落とす。

寓話

2つのくし、1つは毛を整えるだけ

城北の公文書館に、顧という姓の新しい検索員が来た。書庫には数万点の文献があり、読者が資料を調べに来ると、顧さんは一冊のキーワード索引簿で探していた。索引簿は語条ごとに並んでおり、読者が「水利」と言えば、彼女は水の字の部を開き、「水利」を含む文献をすべて探し出した。速いが、読者が「河渠灌漑の歴史的変遷」を尋ねると、索引簿に「河渠」という語条はなく、彼女は経験でいくつかの類義語を推測してめくるしかなかった。

館長は外地から「意味の鏡」を持ち帰った。この鏡は一段の文字を数字の列に変え、鏡の中で数字が近い文献は意味も近い。顧姐は試しに「河渠灌漑」を調べると、鏡は灌漑工程や用水路築造についての文献を直接返し、そこには「河渠」の二文字すら出てこなかった。顧姐はこれをあまりに神妙だと感じ、それ以来索引簿を引き出しにしまい、鏡だけを使った。

一か月後、問題が浮上した。ある読者が「洪武三年の黄河決壊」を調べようとすると、鏡は黄河の水文治理に関する現代論文を大量に返し、洪武三年の原奏折だけを漏らした——奏折には「河水泛溢」と書かれており、「決口」は鏡の中では近隣ではなかったからだ。顧姐は半日探しても空手で戻り、読者は非常に不満だった。

顧姐は索引簿を引き出しから取り出し、「洪武」「黄河」「水」の三文字をそれぞれ調べ、三つの索引を照合すると、洪武三年の奏折がすぐに浮かび上がった——キーワードマッチングは固有名詞、正確な年代、人名地名に自然に敏感であり、これは鏡にはできないことだ。

顧姐はそれ以来ワークフローを変えた。資料を調べるたびに、まず索引簿で正確に一致する候補文献を一批り集め、次に意義鏡で意味が近い方向から一批り補う。二批りの結果を重複排除して統合し、一緒に閲覧室に送る。彼女はこの組み合わせた流れを「合手査」と呼んだ。

新しく来たインターンが顧姐のプロセスを見て尋ねました:これは意味の鏡ではないですか?顧姐は首を振りました:鏡は意味の経路だけを担当し、合手査には索引簿の経路もあります。あなたが見ているのは同じ最終結果ですが、背後では2つのパイプラインが合流して生み出されています。

顧姐は後に総括した。意義鏡は「意味が似ているもの」を探すのが得意で、索引簿は「字面が正確なもの」を探すのが得意だ。日常の検索では、字面が正確な方の道はしばしば無視され、固有名詞、コード、番号、日付にぶつかって初めて、索引簿こそ唯一信頼できる入口だと気づく。

後に調档房は二つの道具を同じ案櫃に収めた:意義鏡は広読みを担い、索引簿は正確な命中を担う。合わせてこそ査档であり、どちらか一方だけでは足りない。

密検索(Dense Retrieval)

ベクトル埋め込みでクエリと文書を同じ意味空間にマッピングし、ベクトル距離で関連性を測る。同義表現や意味的関連の捕捉が得意だが、固有名詞や完全一致にはあまり敏感でない。

ハイブリッド検索 (Hybrid Search)

密な検索と疎な検索(キーワードマッチング)の結果を融合する組み合わせ戦略。意味理解と正確なマッチングの二つの信号を同時に活用し、通常は重み付けまたは再ランキングで最終結果を統合する。

物語の対応

  • キーワード索引簿:スパース検索(BM25 など)、用語を正確にマッチング。
  • 意味鏡:密な検索、ベクトル意味マッチング。
  • ハイブリッド検索:二経路の結果を融合。
  • 洪武三年の奏折見落とし:密な検索が固有名詞や正確な表現を取りこぼす盲点。
  • インターンの混同:ハイブリッド検索 ≠ 密ベクトル検索。前者は後者を含むが、後者に留まらない。

プロジェクトに落とし込む

「我々の検索は Dense Retrieval を使っている」と誰かが言うのを聞いたら、一言尋ねよう。キーワードマッチングを融合しているか? 答えが「ベクトル検索だけ」なら、固有名詞、日付、コード番号などの正確なクエリはおそらく問題が起きる。ハイブリッド検索は密集検索のアップグレード版と見なしてはならず、密集と疎の二経路の組み合わせである。両経路の重み、融合方式(線形加重か Cross-Encoder による再ランキングか)こそが実際に効果を左右する決定点である。

京ICP备2026014272号