← 概念辨析に戻る

Concept Contrast Fable

材料を切ることと材料を探すこと

先に結論:多くのナレッジベースQ&Aの効果が悪いと、まずモデルが賢くないせいだと思う。実際に調査すると、よくある問題はまず二か所に落ちる:材料がどんな粒に切られたか、そして質問が来た後にそれらの粒からどの断片を検索したか。切り方が悪ければ、後でどれだけ上手に探しても完全な意味は得られず、探し方が悪ければ、どれだけ美しく切っても答えの現場に届かない。

多くのナレッジベースQ&Aの効果が悪いと、まずモデルが賢くないせいだと思う。実際に調査すると、よくある問題はまず二か所に落ちる:材料がどんな粒に切られたか、そして質問が来た後にそれらの粒からどの断片を検索したか。切り方が悪ければ、後でどれだけ上手に探しても完全な意味は得られず、探し方が悪ければ、どれだけ美しく切っても答えの現場に届かない。

寓話

海辺の食堂の二つの工程

海辺に小さな食堂があり、魚の羹を専門にしていた。女将の阿芹は毎朝早く港へ魚を仕入れに行き、厨房の料理人である老姜は魚肉、ネギ、タケノコの薄切り、海藻を一つずつ用意する。ホール係の小石は客が何を注文したかを聞き、厨房へ対応する材料を取りに行くだけだ。食堂が小さかった頃は客も少なく、老姜が一盆に切り分けておけば、小石が適当にすくっても間違えなかった。

後に埠頭に新しい航路が開かれ、飯館は一気に外地の客で溢れた。ネギを少なくしてほしい人、骨を怖がる人、淡白な魚羹しか食べない人もいる。阿芹は問題は小石の動作が遅いことにあると考え、老姜にすべての材料をもっと細かく切るよう命じた。細かければ合わせやすいと思ったのだ。最初の二日は確かに少し速くなり、小石は一掴みで一杯をこしらえられた。

すぐに厄介なことが起きた。魚肉は雪のように切れ、筍は米のように砕け、海菜も葱に混ざった。客は葱を入れないでと言い、小石は鉢の中で目がくらむほど選り分けた。客は魚を多く筍を少なくと言ったのに、彼が運んだのはしばしば半碗の砕けた筍だった。小石は叱られて悔しがり、自分は注文どおりに選り分けたのに、どの一掴みにも別のものが混ざっているのだと言った。

阿芹はまた老姜に材料を大きく切るよう言った。魚肉は塊に、筍は細切りに、海藻は別に束ねた。小石は今度は正確に選べたが、新しい問題がまた出た:ある老人は柔らかい魚羹を半碗だけ飲みたいのに、小石が運んだ大きな魚の塊は煮えきらない。ある子どもは海菜を少しだけ入れて旨味を出したいのに、束ごと鍋に入れると味が濃すぎる。材料が大きすぎると、正確に取れても、細かく使えない。

老姜は納得せず、小石が伝票を読めないせいだと言った。小石も焦って、老姜の切り方がめちゃくちゃだと責めた。二人は昼市が止まるまで言い争った。阿芹はどちらが悪いか急いで裁かず、古い注文票の束を持ってきて一枚ずつ机に広げた:よく一緒に注文される材料は近くに置き、よく別々に要求される材料は分けて切る。味が混ざりやすいものは別に盛る。食感を保つ必要がある魚肉は、一匙ですくえて崩れない大きさに切る。

翌日、厨房には十数枚の浅い皿が増えた。魚肉は柔らかさで皿を分け、筍の薄切りは太さで分け、刻みネギと海藻はもう混ざらない。小石は注文を受けると、もはや手速さだけでやたらに掴むのではなく、まず客の要望を見て、その羹に最も近い皿から材料を取った。飯館は静かになり、下げ戻しは減り、老姜と小石も口論が減った。

阿芹は後に新しい店員を教えるとき、二つのことを区別せよとだけ言った。親方が材料を切るのは、各材料そのものが理解され、単独で使えるかどうかを決めること。店員が材料を運ぶのは、客が口を開いたとき、どの材料を竈の上に運ぶべきかを決めること。切り間違えれば、店員がどんなに勤勉でも乱れた盆の中をかき回すしかない。選び間違えれば、親方がどんなに適切に切っても、無関係な羹を一碗出してしまう。

チャンク化

チャンク分割とは、長い文書をより小さな断片に分けるプロセスである。各断片がどれだけの文脈を保持するか、境界がどこに落ちるか、一つの断片が完全な意味を表すのに十分かどうかを決める。

検索精度

検索精度は、一度のクエリで取り戻した断片のうち、どれだけが本当に問題と関係しているかに注目する。それは取り戻した結果の清潔さを測る。

物語の対応

  • 食堂の魚羹 → ナレッジベースQ&Aまたは検索拡張回答タスク
  • 古ショウガを切る → チャンク分割、長い文書をあらかじめ使える断片に分ける
  • 小石が材料を運ぶ → 検索、断片から問題に関連する内容を選び出す
  • 雪のように薄く切った魚肉と筍 → 分割が細かすぎ、局所的な断片が完全な意味を失う
  • 海藻の束と魚肉の塊 → 分塊が粗すぎ、複数の情報が同じ断片に混在している
  • 古い注文票 → 実際のクエリサンプル。適切な分割境界と検索戦略を逆算するために用いる
  • 十数枚の浅い皿 → テーマ、粒度、コンテキスト境界ごとに整理された知識断片
  • 返品が減る → 見つかる内容がより関連的になり、回答が安定する

知識ベースプロジェクトに落とし込むと、まず分割方法を調べ、次に検索方法を調べる

Q&A の効果を調査するときは、最終回答だけを見てはいけない。まず失敗した質問をいくつか抽出し、正解に必要な情報が原文の中で同じ理解可能な断片に切り出されているかを確認する。重要な条件がばらばらに切られ、見出しと本文が分離し、表の行と列がずれているなら、まずチャンキングを直す。断片自体は完全なのに検索で戻ってこない、あるいは類似するが無関係な断片に押しのけられているなら、検索を調整する。クエリ書き換え、召回数、リランキング、フィルタ条件、フィールド重みが精度に影響しうる。チャンキングは材料準備、検索は材料供給のようなもので、両工程を個別に検収する必要がある。

京ICP备2026014272号