← 概念辨析に戻る

Concept Contrast Fable

一类の方法と一つの具体的な式

先に結論:スパース検索は、単語頻度と文書統計に基づく検索手法のカテゴリ全体であり、BM25 はその中で最もよく使われる具体的な確率式である。技術選定で BM25 をスパース検索という言葉の代わりに使うと、TF-IDF、ブール検索などの他のスパース手法を見落としたり、評価時に具体的な実装の制限をカテゴリ全体の欠陥と見なしたりする可能性がある。

スパース検索は、単語頻度と文書統計に基づく検索手法のカテゴリ全体であり、BM25 はその中で最もよく使われる具体的な確率式である。技術選定で BM25 をスパース検索という言葉の代わりに使うと、TF-IDF、ブール検索などの他のスパース手法を見落としたり、評価時に具体的な実装の制限をカテゴリ全体の欠陥と見なしたりする可能性がある。

寓話

城南の木工組合には「ほぞ継ぎ」という言い方がある。しかし王記が使うのは蟻継ぎ

城南の木匠工房に、榫接という先祖伝来の技が伝わっている。机を作るにも、櫃を作るにも、梁を直すにも、老師匠は弟子にこう教える。木を接ぐなら必ず榫接。門外漢には、榫接は一つのものに聞こえる。しかし業界人は知っている。榫接には十数種類ある——蟻継ぎ、直角継ぎ、通し帯継ぎ、斜め継ぎ——それぞれがそれぞれの場面を担う。

王記木工所で最も多く使われたのは蟻継ぎで、引き板は丈夫で、引き出しは二百年変形しなかった。三代にわたり使われ、王記の評判は半省に広まった。外地の商人が家具を注文し、継ぎ手の技を名指しで求めたので、王記は蟻継ぎで納品した。一度、二度、十数度と問題は起きなかった。商人は後に継ぎ手と蟻継ぎを直接イコールで結んだ。

問題はある南方の商人の注文で起きた。彼はほぞ継ぎ構造の可動式芝居舞台を求めていた——各公演ごとに組み立て、演じ終えたら解体し、荷車に積んで次の町へ運ぶ。王記は蟻継ぎで骨組み一式を作り、二つ目の町に運んだところ、四隅すべてにひびが入った。蟻継ぎはきつく嵌まりすぎて、一度解体すると木を傷め、三度で廃棄になる。顧客は机を叩いた。

王記の老師匠が現場を見に招かれた。彼は何も言わず、横梁を一本外し、穿帯榫に替えた。穿帯榫は固く締め付ける必要がなく、楔で横方向に締め付け、外すときは楔を抜けば緩む。舞台は八つの町を巡っても崩れなかった。客が違いはどこかと尋ねた。老師匠は言った。蟻継ぎは堅牢さを重んじ、穿帯榫は可動性を重んじる。どちらも榫接ぎだ。君が王記を榫接ぎのすべてだと思ったのだ。

後に木匠組合は、遠方からの注文を受ける際に一つの決まりを加えた。客商が「榫接(ほぞつぎ)」と言ったら、木匠は必ず場面を問いただす——固定家具か可動構造か、耐荷重か面板か、一度きりの設置か繰り返しの分解・組立か。蟻継ぎは榫接の中の一つの公式にすぎず、正しく使えば天下無敵だが、間違えれば他の榫接より早く壊れる。

店の若い木工も、修行中に同じ過ちを犯した。彼らは王記の蟻継ぎが最も名高いのを見て、継ぎ手といえば蟻継ぎだと思った。親方は古い図譜をめくらせ、蟻継ぎの前に直角継ぎ、貫帯継ぎ、斜角継ぎがすでにそれぞれの用途を持っていたことを彼らは知った。継ぎ手を蟻継ぎとみなせば、多くの特定場面での古い方法がすべて見過ごされてしまう。

大工の古い掟が門の枠に刻まれている。ほぞ継ぎは通名、蟻継ぎは専名。ほぞ継ぎがダメとは言えない。一本の木についてだけ正しいからだ。

スパース検索

語頻度と文書統計に基づく検索手法の一種で、クエリと文書を疎ベクトルで表現する。TF-IDF、BM25、ブール検索など複数の具体アルゴリズムを含み、単一の公式には縛られない。

BM25

スパース検索で最もよく使われる確率的ランキング関数で、単語頻度の飽和と文書長の正規化に基づく。方法全体ではなく具体的な数式であり、すべてのスパース検索手法を代表するものではない。

物語の対応

  • 榫接:疎検索、単語頻度と文書統計に基づく一連の手法
  • 蟻継ぎ:BM25、具体的な一つの確率ランキング式
  • 外地の商人が蟻継ぎをそのまま燕尾継ぎとみなす:エンジニアリングでスパース検索を BM25 と同一視するよくある誤解
  • 舞台の崩壊:BM25 は一部の場面で最適ではなく、帯状のほぞは他の疎な方案を表す
  • ブール法は三十年使われてきた:BM25 のほかにもブール検索や TF-IDF など成熟した手法がある
  • 門枠の刻字:一般名は分類、固有名はインスタンス。選定時には必ず区別する

検索ソリューションの選定に落とし込む

システム設計文書を書くとき、疎検索と書くなら、どの具体的なアルゴリズムを使うかをさらに指定する必要がある。BM25 と書くなら、すでにアルゴリズムを選定済みだということ。総称を具体名として書くと後続の選定の余地を狭め、具体名を総称として書くとレビューで実装の詳細を詳しく尋ねられる。実際のエンジニアリングでは、ドメイン内データが各疎方案にどれだけ適合するかを優先的に評価する——BM25 の IDF 仮定はすべてのコーパスで成り立つわけではない。

京ICP备2026014272号