← 概念解説に戻る

Concept Fable

密検索

先に結論:Dense Retrieval(密検索)は、ニューラルネットワークの embedding でクエリと文書を低次元の密ベクトルに符号化し、ベクトル類似度によって意味的に近い内容を探す。同義表現、言い換え、クロスリンガル、暗黙の意図を扱え、現代の RAG の中核的な検索方式の一つである。Dense retrieval は通常、embedding model、vector database、ANN index、類似度尺度に依存する。その弱点は、正確な番号、稀な語、固有名詞、字面上の制約に対して必ずしも安定しないことで、そのため企業システムでは sparse retrieval、BM25、hybrid search、reranker と組み合わせて使うことが多い。

Dense Retrieval · Retrieval method

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

似顔絵師は意味に従って同一人物を見つけ出した

街の大きな書楼には十万巻の書がある。旧館吏は書名で本を探し、読者は正確な題名を言わなければならなかった。もし誰かが「冬に梨をどう保存するか」と尋ねても、書名に「梨」がない農書は見落とされがちだった。

新しい館吏は当初、各本により多くのタグを付けた。果物、倉庫、冬、防湿。タグはますます増え、背表紙は市場の看板のように派手になった。読者が言い方を変えれば、やはり本当に役立つ本は漏れた。

ある日、老庭師が「寒い夜に果実を腐らせない方法」を尋ねに来た。書名もタグも完全には一致していなかった。若い司書は彼を、窖蔵、温度、湿度に関する数冊の本の前に連れて行った。庭師は驚いて、なぜ自分が必要とするものを分かるのかと尋ねた。

若い館吏は、もう字面だけを見ないと言った。彼は各書物に心の中で位置を与えた。近い問題を語る本は近くに、無関係な事柄を語る本は遠くに置く。読者の問いもまずこの見えない城図に置き、それから近くの本を探す。

最初の試用は完璧ではなかった。「橋梁の耐荷重」と尋ねたのに、システムは「家庭の負担」に関する記事を何本か持ってきた。どちらにも圧力と重量の意味が含まれていたからである。館吏は旧法を撤回せず、どの類似が真に近いのかを校正し続けた。

後に書楼は字面の索引を残しつつ、館吏が問いの意味を理解するよう訓練した。読者は書名を推測する必要がなく、要望を述べるだけで、同じ意味街区にある資料を見つけられた。

書楼は訂正の日も設けた。読者が「この意味ではない」と言えば、館吏は間違って見つけられた本をその街区から少し遠ざける。あるマイナーな本がいつも似た問題を助けるなら、それを近づける。隠れた都市地図はフィードバックによって徐々に正確になる。館長はこの隠れた地図に抜き取り検査も設けた。毎週いくつかの読者の質問を選び、老いた館吏に、見つけられた本が本当に近いかを手作業で判断させる。もし単に言葉の匂いが似ているだけで内容や用途が遠ければ、その道を遠ざける。こうして書楼は新しい地図を迷信せず、継続的に校正した。館長はまた館吏に、隠れた地図は神託ではないと注意した。それは近くの候補を示すが、最終的には読者の目的と本の中の証拠が合うかを見なければならない。

老庭師はよく言った。古い書楼は門牌で人を探すようなもの。新しい書楼は誰と誰が同じような暮らしの中に住んでいるかを知っているようなものだ。字面が違う文でも、同じ必要を指していれば、その見えない地図の上で隣り合っているかもしれない。

明らかにする

この物語が語っているのは:密検索

Dense Retrieval(密検索)は、ニューラルネットワークの embedding でクエリと文書を低次元の密ベクトルに符号化し、ベクトル類似度によって意味的に近い内容を探す。同義表現、言い換え、クロスリンガル、暗黙の意図を扱え、現代の RAG の中核的な検索方式の一つである。Dense retrieval は通常、embedding model、vector database、ANN index、類似度尺度に依存する。その弱点は、正確な番号、稀な語、固有名詞、字面上の制約に対して必ずしも安定しないことで、そのため企業システムでは sparse retrieval、BM25、hybrid search、reranker と組み合わせて使うことが多い。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 名前だけで人を探す:従来のキーワードまたは完全一致検索
  • 見えない似姿:embedding、テキストを密なベクトルで表す
  • 問題も画像として描かれる:query embedding
  • プロファイルが近いほど関連が高い:ベクトル類似度、例えばcosine similarityやdot product
  • 退職後の権限回収がアカウント停止プロセスを見つける:dense retrieval は同義語や言い換えが得意
  • 第 12.4 条が漏れている:稠密検索は正確な番号やハード制約に対して不安定になる可能性がある
  • 名簿が一緒に動く:sparse retrieval/BM25 と組み合わせて hybrid search を構成
  • 候補の再ランキング:rerankerが最終的にコンテキストに入る関連性を向上させる

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

embeddingsベクトルデータベースsemantic searchsparse retrievalハイブリッド検索ANN search

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号