← 概念辨析に戻る

Concept Contrast Fable

クロスエンコーダーとリランカー、一方は測定ツール、一方は測定結果を列に並べるもの

先に結論:クロスエンコーダは具体的なスコアリングモデルアーキテクチャであり、クエリとドキュメントを連結して共同エンコードしスコアを付ける。リランカーはより広い機能役割であり、クロスエンコーダでも他のアルゴリズムでもよく、その任務は初回検索結果に対してより良い順序に並べ直すことだ。クロスエンコーダをリランカーの同義語とみなすと、アーキテクチャ選定の選択肢を狭めてしまう。

クロスエンコーダは具体的なスコアリングモデルアーキテクチャであり、クエリとドキュメントを連結して共同エンコードしスコアを付ける。リランカーはより広い機能役割であり、クロスエンコーダでも他のアルゴリズムでもよく、その任務は初回検索結果に対してより良い順序に並べ直すことだ。クロスエンコーダをリランカーの同義語とみなすと、アーキテクチャ選定の選択肢を狭めてしまう。

寓話

盤上には二人の審判がいる。一人は点数をつけ、一人は席次を並べる

町の棋院は毎年少年囲碁大会を開き、参加する子供は六十人余り。試合は二回戦に分かれる。第一回戦では各子供が三人の審判と早碁を打ち、審判は勝敗を大まかに記録して上位二十名を選ぶ。この時点の順位はかなり粗い。三局の早碁では何も説明できないからだ。

第2ラウンドは招待審判の鄭おじいさんが単独で担当した。彼は第1ラウンドで選ばれた20人の子供の棋譜を、その日の状態、相手の強弱、棋風とともに一枚の大きな盤上に並べて照合し、一対ずつ比較して、正確なトップ10の順位を出した。鄭おじいさんの仕事は並べ替え——第1ラウンドが出力した順位の山の上に立ち、より良い順序を新たに定めることだった。

ある年、鄭爺の体調が悪くなり、棋院は急いで代替案を探した。彼らは三人を試した。第一は棋院もとの助教、第二は隣省から招いたプロ棋士、第三は歴年の棋譜をすらすら暗記した老棋待詔である。三人とも第二ラウンドの再並べ替えを完了できたが、内部で用いる方法は全く異なっていた。助教は経験と直感に頼り、プロ棋士は局面の精密な分解に頼り、老棋待詔は二つの棋譜を並べて広げ、一子ずつ各手の得失を推算した。

このときになって棋院の人々は、ある重要な問題に気づき始めた。鄭おじいさんは「重排序者」という役割だが、誰をその位置に座らせ、どんな方法で座らせるかは別問題である。助教の重排、プロ棋士の重排、老いた棋待詔の重排——結果はまったく異なるかもしれないが、それらはすべて重排序と呼ばれる。役割とやり方を一つの名前に混ぜてはならない。

棋院は後にこのプロセスを正式化し、大会規約に「第二ラウンドの並べ替え方式」という節を独立して設けた。彼らは年ごとに異なる方法の使用を認めている。小規模な大会では助手が手作業で並べ、大規模な大会では老いた棋待詔が棋譜を一局ずつ分解する。方法の宣言が明確で、評価根拠が説明可能でありさえすればよい。棋譜の一局ずつの分解は、再ランキングの位置に座る一つの方法にすぎず、この位置のすべての身分ではない。

ある人が棋院に尋ねた。なぜ第一輪から直接老棋待詔に任せて、二輪を省かないのか。棋院の責任者は言った。代価が違う。第一輪には六十人の子どもがいて、各二人の棋譜をすべて並べて照合すると、六十かける五十九を二で割って、およそ千八百回の判定になり、高すぎる。第一輪は早指しで一輪ふるいにかけ、第二輪は二十人だけを精密に比較すれば、九割の手間が省ける。

棋院は最終的にルールを明確に定めた。まず安価な方法で候補リストを絞り込み、次に細やかな人が精密な並べ替えを行う。リランキングとは「すでに絞り込まれた順位の集合を並べ直す」という動作であり、助教を使うか、プロ棋士を使うか、老いた棋待詔を使うかは、その動作を実現するための異なるツールにすぎない。動作とツールを同一視してはならない。

クロスエンコーダ

クエリと文書を連結して同じエンコーダに入力し、関連性スコアを出力する、特定の深層学習モデルアーキテクチャ。計算コストは高いがスコア精度が良く、小規模な候補集合の再ランキングによく使われる。

リランカー

検索システムにおける機能役割で、初回検索結果を受け取った後、より精細な基準で再ランキングする。クロスエンコーダで実装することも、ルールベース・統計・その他のモデルベースの手法で実装することもできる。

物語の対応

  • 第一ラウンド・クイックチェス:初回検査段階で、軽量な手法を用いて候補集合を高速に再現する
  • 鄭爺:リランカーの機能役割
  • 助教、プロ棋士、スコアリングモデル:三つの異なる再並べ替え実装方式
  • 評価モデルが棋譜を組み合わせて採点する:クロスエンコーダの結合符号化方式
  • クロスエンコーダは大規模な比較には高すぎる:なぜ二段階検索パイプラインが必要かを説明する
  • 棋院章程に並べ替え方式を別途明記:アーキテクチャ上、役割と実装を分けて宣言する
  • 六十人の子どもを全比較すると千八百回近く:クロスエンコーダの計算複雑度

RAG 検索アーキテクチャ選定に落とし込む

RAG システムの検索チェーンを設計するとき、まず二層の役割図を描く。上の層には「リランカー」と書き、候補集合の範囲内で精密な並べ替えを行う責務を注記する。下の層には具体的な実装案——クロスエンコーダ、BM25 ベースのリランク、ハイブリッド戦略など——を書く。案は反復的に差し替えられるが、役割は変わらない。リランクモジュールを購入または自社開発するなら、それが束縛する基盤モデルは何か、候補集合の規模上限はいくらか、遅延予算はいくらかをはっきり尋ねる。「リランカーが欲しい」と「クロスエンコーダが欲しい」を同じ言葉として扱ってはならない——前者は要件、後者は一つの実装経路であり、両者は異なる意思決定表にある。

京ICP备2026014272号