← 概念解説に戻る

Concept Fable

BM25

先に結論:BM25は古典的なキーワード検索ランキングアルゴリズムで、検索エンジンやRAGの疎検索によく使われる。単語頻度、逆文書頻度、文書長の正規化に基づいて文書とクエリの関連性を判断する。BM25は固有名詞、番号、正確な専門用語、法規条項などの字面一致に強い。ベクトル検索が普及した後も、BM25はセマンティック検索と組み合わせてhybrid searchを構成し、ベクトル検索が正確な語や希少語に不安定な点を補うことが多い。

BM25 · Retrieval

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

老いた索引係は言葉に重さを量り与えた

城内の文書館は当初、巻物を探すとき同じ単語があるかどうかだけを見ていました。読者が「橋税」と尋ねると、筆写員は「橋」または「税」を含むすべての巻物を持ってきました。机の上はすぐに紙で山積みになり、その多くは単に一言触れただけのものでした。

館長は、語が現れたことは重要であることと同じではないと気づいた。東橋の税制についての巻宗は橋税を繰り返し書いており、もちろん関連する。旅行記が『橋のそばを通って税を納めた』とだけ書いているなら、前に並べるべきではない。

老いた索引係は語に重さを量り始めた。まず、ある語が特定の巻物に何回現れるかを数える。多く現れれば、その巻物はより関連性が高いかもしれない。しかしすぐに気づいた。長すぎる巻物は自然と語が多く現れやすく、回数だけで報酬を与えるわけにはいかない。

そこで彼はこの言葉が館全体でどれほど珍しいかも見た。「の」、「城内」のようなどこにでもある言葉は、ほとんど識別力がない。「橋税減免令」のような珍しい言葉は、一度現れれば非常に価値がある。

もう一つの問題がある。ある語が百回現れても、十回現れるより十倍強いとは限らない。老索引員は繰り返し出現に上限を設け、一冊の文書が語を積み上げて自分を最前列に押し上げるのを防いだ。

後に、読者が「東橋税減免」と尋ねると、索引係はこれらの語を含むすべての巻宗を運ぶだけでなく、総合的に見るようになった:これらの語が文中に十分多く出現するか、全館で十分希少か、この巻宗の長さが妥当か、重複出現がすでに飽和しているか。

若者が彼に尋ねた。これはとても古い方法ではないですか。老いた索引係は言った。古いことは役に立たないことではない。問題に明確な名称、番号、用語、条項があれば、まず文字どおりの手がかりを活用するほうが、意味を推測するより信頼できることが多い。

その後、文書館には意味で本を探す新しい地図ができたが、老索引員は依然として引退しなかった。彼は新しい地図と共に働いた。一方は正確な語を捉え、もう一方は近い意味を捉える。館長はそこで悟った。複雑な検索において、字面一致は遅れているのではなく、安定した一本の釘なのだ。それがなければ、多くの固有名詞や条項は漂ってしまう。珍しい地名、票号、律令名に出会うと、新しい地図はよく遠回りするが、老索引員は一発で捉えられる。館ではその後、まずそれで明白な手がかりを固定し、次に別の方法で意味を補うようにした。

明らかにする

この物語が語るのは:BM25

BM25は古典的なキーワード検索ランキングアルゴリズムで、検索エンジンやRAGの疎検索によく使われる。単語頻度、逆文書頻度、文書長の正規化に基づいて文書とクエリの関連性を判断する。BM25は固有名詞、番号、正確な専門用語、法規条項などの字面一致に強い。ベクトル検索が普及した後も、BM25はセマンティック検索と組み合わせてhybrid searchを構成し、ベクトル検索が正確な語や希少語に不安定な点を補うことが多い。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 同じ単語があるかだけを見る:最も素朴なキーワードマッチング
  • 語が出現したからといって重要とは限らない:検索にはランキングが必要で、フィルタリングだけではない
  • ある語がある巻宗に何回出現するか:単語頻度 TF
  • この語が全館でどれほど稀か:逆文書頻度 IDF、稀な語ほど識別力が高い
  • 長い巻物は自然と語が多くなる:文書長の正規化
  • 繰り返し出現に上限を設ける:BM25 の単語頻度飽和の考え方
  • 名称、番号、用語、条項を明確に:BM25 が得意な場面
  • 新しい地図と一緒に働く:BM25 はしばしばベクトル検索と組み合わされハイブリッド検索になる

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

sparse retrievallexical search

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号