← 概念辨析に戻る

Concept Contrast Fable

意味による分割とウィンドウスライディングによる分割

先に結論:ドキュメントの分割は RAG が正しい証拠を取得できるかに直接影響します。意味で区切るのは素材を先に読んでから切り込むのに似ており、ウィンドウでスライドして区切るのは安定した寸法で全文を覆うのに似ています。契約書、マニュアル、チャット記録に適した戦略はそれぞれ異なります。

ドキュメントの分割は RAG が正しい証拠を取得できるかに直接影響します。意味で区切るのは素材を先に読んでから切り込むのに似ており、ウィンドウでスライドして区切るのは安定した寸法で全文を覆うのに似ています。契約書、マニュアル、チャット記録に適した戦略はそれぞれ異なります。

寓話

二人の紙裁ち職人と切り分けられた約束

町のアーカイブ店に古い契約書の束が届き、主人は厚い紙の巻物を小さな片に裁断し、店員が客の質問に応じて取り出せるようにしようとした。最初の裁断師はまず巻物を読み、ある段落は賃貸期間を語り、ある段落は違約を語り、ある段落は更新を語っているのを見て、意味の境界に沿って切り分けた。紙の大きさはそれぞれ異なり、端も揃わないが、読むと完全な小さな物語のようだった。

二人目の紙切り職人はこれでは遅すぎると、銅の尺を取り出し、同じ長さごとに一刀を入れ、次の一刀は少し前に戻して重なる縁を残した。店先はすぐに整った紙片で埋まり、番号は明確で、空白は少なかった。店主は見て心地よく、これで今後物を探すのがもっと安定すると思った。

最初の数日、二種類の紙片はどちらも役に立った。ある人が某街の賃貸期間を尋ねると、最初の裁ち出した紙片がちょうど前因後果を語り切った。ある人がある数字を尋ねると、二番目の裁ち出した紙片が常に近くを覆えた。店主はそこで二人に同時にやらせ、速い方を使うことにした。

問題はある賠償契約で起きた。重要な約束が長い文に書かれており、前半で発動条件を説明し、後半で賠償上限を説明していた。銅の定規がちょうど真ん中を切ってしまい、検索では後半しか返らなかったため、店員は損害があれば全額賠償だと思い込んだ。客は誤った解釈を持って交渉に行きかけた。

最初の紙裁ち職人も間違えた。彼が意味に沿って裁った紙片は長さがまちまちで、形式が乱れたチャット記録では境界がよく分からず、雑談と決定が混ざることがあった。使用人が短い返答を探すとき、かえって背景全体に足を取られた。

店主は後に規則を変えた。法律条項、製品マニュアル、会議議事録はまず内容を理解する者に意味で区切らせ、流水、領収書、長いチャット列、明確な見出しを欠く資料は銅尺で安定して滑らせ、重なりを保った。高リスクの条項では、切り口が条件や結論を断ち切っていないかも確認した。

店はもう誰のハサミが上級かで争わなかった。店主はただ、紙巻はどんなものか、客はどう質問するか、紙片を取り戻した後そのまま判読者に渡すのかを尋ねた。紙を裁つ良し悪しは、刃先の美しさではなく、肝心な言葉が同じ一枚の紙に落ちるかどうかにある。 後に店に新しい店員が来ると、店主はまず三種類の旧案件を見せた:一言で数値を問うもの、一段落全体で責任を問うもの、ページをまたいで例外を問うもの。新しい店員はすぐに、同じハサミでも案件によって異なる傷跡を残すと理解した。

セマンティックチャンキング

セマンティックチャンキングは段落、主題、文意、構造の境界で内容を切り分け、完全な意味を優先的に保つ。契約条項、知識記事、プロセス説明など意味の境界が明確な資料に適する。

スライディングウィンドウチャンキング

スライディングウィンドウ分割は固定長で切り分け、重複領域で断裂リスクを減らす。形式が緩く、境界が不明確で、安定したカバレッジが必要な長文や記録ストリームに適している。

物語の対応

  • 段落の意味で紙を裁つ:セマンティックチャンキングは内容構造と意味の境界に依存する
  • 銅尺で固定裁断し重なり辺を残す:スライディングウィンドウ分割は固定ウィンドウと overlap で安定したカバレッジを提供する
  • 切り分けられた賠償の約束:機械的な分割は条件・結論・限定語をばらばらにしかねない
  • チャット記録の境界が定まらない:意味的分块は雑然とした材料に直面すると不安定になることもある
  • 材料と質問の仕方に応じて鋏を選ぶ:実際のRAGプロジェクトでは文書タイプ、リスク、クエリパターンに応じて分割戦略を選ぶ

RAG プロジェクトに落とし込む

契約書、ポリシー、技術マニュアルはセマンティックチャンキングを優先してテストする。答えは完全な条項に依存することが多いためだ。カスタマーサポートのチャット、ログ、トランザクション、低構造の長文は、まずスライディングウィンドウでカバレッジを確保してよい。リリース前にチャンク数だけを見てはいけない。高リスクの質問を抜き取り検査し、条件、例外、金額、時効が分断されていないか確認する。

京ICP备2026014272号