← 概念辨析に戻る

Concept Contrast Fable

ハイブリッド検索とスパース検索

先に結論:疎検索は従来の転置インデックスによるキーワードマッチングであり、ハイブリッド検索はそれに加えてセマンティック検索の経路を追加したものである。ハイブリッド検索を「アップグレード版キーワードマッチング」と考えると、アーキテクチャの変化がもたらすコストと便益を過小評価することになる。

疎検索は従来の転置インデックスによるキーワードマッチングであり、ハイブリッド検索はそれに加えてセマンティック検索の経路を追加したものである。ハイブリッド検索を「アップグレード版キーワードマッチング」と考えると、アーキテクチャの変化がもたらすコストと便益を過小評価することになる。

寓話

古い帳簿と新しい相棒

記録文書局の検索台は二十年使われてきた古い帳簿の方法を使っていた。キーワードで転置インデックスを作り、各語の後ろに文献番号の列を並べる。「漕運」を調べると、漕運のページを開き、後ろに四百件の記録が整然と並んでいる。この方法は十分で、速く、維持も簡単で、全局の誰もが熟知していた。

新しく来た技術者が、古い帳簿法と組み合わせて使う「意味の鏡」の導入を提案した。試験運用を三ヶ月行い、効果は良かったので、上司はこの組み合わせに「合手査」という新しい名前をつけた。全体通達にはこう書かれた:本日より合手査を普及する。

通報を出して二週目、問題が来た。三つの分館が同じ質問を電話でしてきた:合手査とは古い帳簿を新しいインターフェースに替えただけか?もしそうなら、我々の分館の古い帳簿索引はずっとよく維持されているので、触る必要はないのか?

総局が人を派遣して説明したところ、通報で一つのことが明確にされていないとわかった。合手査は単に古い台帳を衣替えしたものではない。古い台帳は今もあり、その隣に新しい相棒が加わった——意味鏡である。二つの信号が並行して走り、最終的に結果層で融合する。古い台帳は正確なヒットを担い、意味鏡は意味の補完を担う。意味鏡の半分が欠けると、合手査は古い台帳に逆戻りする。

分館の人がまた尋ねた:では私たちも意味鏡を買うべきですか?総局は言った:買うべきだ、しかも買った後は融合ウェイトを調整する必要がある。あるクエリでは老帳簿がすでに良い結果を出しているので、そちらにウェイトを多めに与える。あるクエリでは老帳簿の再現率が低すぎるので、意味鏡に多く補わせる。ウェイトの調整方法は各分館の文献タイプに直接関係する——法院分館の判例文書は固有名詞が多く、老帳簿を重くすべき。医学院分館の論文は同義表現が多く、意味鏡を重くすべき。

一年後、各分館には二系統の検索が整い、運用チームも重み調整の経験を蓄積した。当初の通報事故を振り返り、責任者はこう言った:命名の時は組み合わせに新しい名前をつけることだけを考え、古い帳簿がまだ中にあり消えていないことを皆に伝えるのを忘れていた。

後に、合手査と老帳簿の違いは一体どこにあるのかと問う人がいた。答えは二つの文になった:老帳簿は一人で働き、合手査は二人で組む。老帳簿は常にそこにいるが、「意味がだいたい同じ」を理解できる相棒が加わった。

後に、記録閲覧台の入口にプロセス板が掛けられた。左側には古い台帳が何を調べるか、右側には意味の鏡が何を補うかが書かれ、中央に合流点が描かれた。新しく来た者はまず板を見てから業務に就く。

スパース検索(Sparse Retrieval)

転置インデックスに基づくキーワードマッチング検索。典型的な実装はBM25。ベクトル次元は高いが大部分がゼロ(疎)。正確な語句や固有名詞に非常に敏感で、計算コストは低い。

ハイブリッド検索 (Hybrid Search)

疎検索と密検索の二つの信号を融合する総合的な検索戦略。疎検索を基礎とし、さらに意味検索チャネルを重ねる組み合わせ方案。

物語の対応

  • 古帳簿法(転置インデックス):疎検索、BM25キーワードマッチング。
  • 意味鏡:密な検索、ベクトル意味マッチング。
  • 合手検索:ハイブリッド検索、二経路の融合。
  • 分館の困惑:ハイブリッド検索を、疎検索が界面を変えただけだと思い込み、意味チャネルが独立したコンポーネントであることを見落とした。
  • 法学院と医学院の重みの違い:分野によって疎な信号と密な信号への依存度が異なる。

プロジェクトに落とし込む

既存システムにすでに成熟したBM25/Elasticsearch検索がある場合、ハイブリッド検索を導入するときに一から作り直してはいけない。既存の疎検索の隣に密検索チャネルを追加し、二経路を並行させてから結果を融合する。こうすることで三つのことを避けられる。第一に、チームに「疎検索は維持し、意味検索は新規追加」と明確に伝え、運用が新システムを旧システムとして使うのを防ぐ。第二に、異なるビジネス領域に異なる融合重みを設定する。第三に、密チャネルを外して疎検索のみに頼るフォールバックスイッチを残し、性能ベースラインとする。

京ICP备2026014272号