← 概念辨析に戻る

Concept Contrast Fable

上下関係を保ち、意味に基づいて分割する

先に結論:親子チャンキングは、検索ヒット後にどうやってより完全なコンテキストを持ち帰るかに関心を持つ。セマンティックチャンキングは、切れ目が自然な意味の境界に落ちるかに関心を持つ。一方は小さな塊のヒットと大きな塊の補完を扱い、もう一方はテキストをどこで区切るべきかを扱う。

親子チャンキングは、検索ヒット後にどうやってより完全なコンテキストを持ち帰るかに関心を持つ。セマンティックチャンキングは、切れ目が自然な意味の境界に落ちるかに関心を持つ。一方は小さな塊のヒットと大きな塊の補完を扱い、もう一方はテキストをどこで区切るべきかを扱う。

寓話

抜粋カードと章全体の本棚

北街書庫に新しく問事窓口が開き、読者は一言質問するだけで、書吏は関連資料を見つけなければならない。若い書吏は各本を意味ごとに小さな巻に切った:一巻は価格設定、一巻は返品、一巻は保証。小巻は読みやすく、カウンターに置いても軽便だった。

別の老書吏は各抜粋の後ろに細い紐を掛け、紐は元の章節に繋がっていた。読者が細かく尋ねると、彼はまず小さな抜粋を差し出した;読者が決定を下す必要があるとき、彼は章全体を下ろし、前後の制限、例外、定義を見せた。

当初、若い書吏の方が人気だった。彼の答えは短く、客は厚い本をめくる必要がなかった。保証は何日かと聞かれれば、一文で十分だった。あるボタンはどこかと聞かれれば、小さな説明の巻物を差し出し、窓口の列はすぐに短くなった。

後に一人の購買主管が来て、あるサービスを海外で使えるかと尋ねた。小巻には開通可能と書かれており、若い書吏はそれに基づいて答えた。主管が署名しようとした時、老書吏は紐をたどって章全体に戻り、次のページにデータ審査を経た顧客のみ使用できると書かれているのを見つけた。小巻が上位の章から離れると、答えは危うく逸れてしまうところだった。

老書吏の方法にも問題があった。毎回章全体を運ぶので、判読する人は無関係な段落に囲まれる。質問は一つのフィールドだけなのに、章全体が十数ページ入り込み、ウィンドウがまた遅くなった。読者は不満を言った、自分は一言を確認したいだけだと。

館長は最終的に2つの方法を規程に統合した。索引には小さな抜粋を使い、正確なヒットを容易にする。回答が約束、制限、コンプライアンス、または多段階プロセスに関わる場合は、必ず親セクションを持ち帰る。小さな抜粋の切り方については、ヒット点自体が不完全にならないよう、できるだけ意味に従って区切る必要がある。

書庫はずっと静かになった。書吏はもはや「自然に切る」と「コンテキストを引き戻す」を同じことと混同しない。一つは刃先を決め、一つは命中後に上へどれだけ引き上げるかを決める。問いが実際の判断に近いほど、この区別は価値を持つ。 館長はまた書吏に毎回の誤答を記録させた:小巻自体が切れていたのか、小巻は正しく見つかったが上層に引き戻さなかったのか。記録が一か月分たまり、修正方法はもはや口論に頼らなくなった。後に価格、責任、コンプライアンスの三類の問題では、ウィンドウはデフォルトで親レベルも一緒に提示する。用語の説明やボタンの位置では、小巻だけを渡す。 関係も残る。

親子チャンク

親子チャンクは通常、より小さな子チャンクで検索の命中を得て、対応する親チャンクや章節をコンテキストに持ち込み、正確な命中と完全な背景との衝突を緩和する。

セマンティックチャンキング

意味的分块は、テキストの分割境界が内容の意味に合っているかに注目し、各 chunk をできるだけ自己完結させ、条件、結論、定義を切り離す確率を減らす。

物語の対応

  • 自然な小巻:意味的分割によって生み出された意味的に完全な断片
  • 抜粋の後ろの細い紐:親子チャンクが子チャンクから親コンテキストへの関係を保持する
  • 海外利用規約が承認制限を漏らす:小さな断片だけを検索すると制約や例外が欠ける可能性がある
  • 毎回章全体を移動すると遅くなる:親ブロックが大きすぎるとノイズとコストも生じる
  • まず小さな抜粋を命中させ、リスクに応じて章全体を持ち帰る:実践的な質疑応答における親子チャンクの典型的な使い方

知識ベース検索に落とし込む

システムが正しい文をよく命中するのに答えが不完全な場合は、親子チャンクを検討する。システムが半文、断裂した条項、不自然な断片をよく命中する場合は、まずセマンティックチャンクを修正する。両者は同時に存在しうる。小さいチャンクは正確な特定を担い、親チャンクは意思決定に必要な背景を補う。

京ICP备2026014272号