← 概念解説に戻る

Concept Fable

双エンコーダ

先に結論:Bi-Encoder はクエリと文書をそれぞれエンコードし、両者をベクトルに変換して類似度でマッチングするアーキテクチャである。文書ベクトルをオフラインで事前計算しベクトルデータベースに保存できるため、大規模なセマンティック検索、RAG の第一段階リコール、類似事例検索、推薦に非常に適している。弱点はクエリと文書に共同の相互作用がなく、細粒度の条件マッチングは通常 Cross-Encoder に劣るため、企業システムでは Bi-Encoder でリコールし、Cross-Encoder や reranker で精排するのが一般的である。

Bi-Encoder · Retrieval

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

二つの倉庫はまずそれぞれで番号付けをした

文書館は最初、人海戦術で資料を探していた。読者が質問すると、管理人は棚を一列ずつめくり、似た内容があれば紙片を挟んだ。書物が少ないうちはよかったが、資料が増えると行列が門の外まで伸びた。館長は各書物にまず要約を書かせた。読者の質問も要約にし、要約が近いかどうかを比較した。速度は少し良くなったが、要約の長さがまちまちで、比較は依然として骨が折れた。誰かが、毎回老師匠に質問と各書物を並べて細かく見させることを提案した。結果は正確になったが、誰も待てなかった。庫房には百万頁あり、老師匠は一日に数百頁しか見られない。若い管理人は発想を変えた。すべての書物を夜のうちにそれぞれ一度計量させ、固定長の番号に変えた。読者の質問が来たら、それもまず番号に計量する。番号が近い書物が先に見つかる。

最初はみんな心配した。問題と本が一緒に細かく見られていないのに、本当に関連があるとどうしてわかるのか?管理者は言った。この段階は大海を池に縮めることだけを担当し、最終的な裁判官になることはできない、と。

あるアフターサービスのヘルパーが「マザーボード交換後にライセンスが無効になる」を調べる必要がありました。番号の一式装置はすぐに千万件の知識から数十件の類似事例を引き出し、その中には認証再バインドと書かれたものも、ハードウェアフィンガープリントの変化と書かれたものもありました。

その後、館長は審巻官にこれら数十条を詳しく見るよう命じた。まず速く召回し、次に精緻に判断する。この一連の流れはついに、大庫をカバーしつつ、機関のコンテキストを埋め尽くさないようになった。

後に、文書館は本の番号をあらかじめ索引に保存し、異なる事業ラインごとに異なる測定尺を用意した。汎用尺はおおよそを見つけられ、領域尺は細部を見つけられる。

皆が理解した:第一歩はすべての資料を完璧に審査することではなく、事前計算可能な表現で候補範囲を装置全体が耐えられる大きさに圧縮することである。

この方法も間違えることがある。番号が近いからといって必ずしも関連するとは限らず、言葉面が異なる本が引き寄せられ、意味が近い古い巻が漏れることもある。だから館長は番号システムだけに最終決定をさせなかった。

真の利点は繁忙日に現れた。読者が列を作ると、館員はまず番号で百万ページを小さな束に圧縮し、それから審査官に精読を依頼する。速度は事前に測られた番号から生まれ、信頼性は後ろで依然として誰かが細かく目を通すことから生まれる。

明らかにする

この物語が語るのは:双エンコーダ

Bi-Encoder はクエリと文書をそれぞれエンコードし、両者をベクトルに変換して類似度でマッチングするアーキテクチャである。文書ベクトルをオフラインで事前計算しベクトルデータベースに保存できるため、大規模なセマンティック検索、RAG の第一段階リコール、類似事例検索、推薦に非常に適している。弱点はクエリと文書に共同の相互作用がなく、細粒度の条件マッチングは通常 Cross-Encoder に劣るため、企業システムでは Bi-Encoder でリコールし、Cross-Encoder や reranker で精排するのが一般的である。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 夜に書物へ番号を振る:オフラインで文書 embedding を計算
  • 読者の質問にも番号を振る:オンラインで query embedding を計算
  • 番号が近いものを先に見つける:ベクトル類似度検索
  • 大海が池に縮む:第一段階の高効率リコール
  • 老師匠が同じ机で細かく見る:cross-encoder 精排
  • アフターサービスAgentの事例:企業ナレッジベースで意味的に類似する問題を探す
  • 異なる測定尺:異なる embedding モデルやドメイン微調整モデル

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

embeddingsdense retrieval

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号