← 概念辨析に戻る

Concept Contrast Fable

長いテキストを塊に切る大家族と、その中で固定ステップ幅で滑らせながら切る一種

先に結論:チャンキングは大きなカテゴリである。固定長で切る、段落で切る、意味境界で切る、スライディングウィンドウで切る。長いテキストをいくつかの小さな塊に切るなら、どれもチャンキングに属する。スライディングウィンドウチャンキングは具体的なサブ戦略である。ウィンドウ長は固定、ステップ幅は固定、隣接する塊の間には重なりがある。スライディングウィンドウをすべてのチャンキング方法と見なすと、意味境界で切る利点を失う。段落で切ることをスライディングウィンドウと見なすと、境界で過渡情報を漏らす。どの刀法を選ぶかは、材料と用途次第である。

チャンキングは大きなカテゴリである。固定長で切る、段落で切る、意味境界で切る、スライディングウィンドウで切る。長いテキストをいくつかの小さな塊に切るなら、どれもチャンキングに属する。スライディングウィンドウチャンキングは具体的なサブ戦略である。ウィンドウ長は固定、ステップ幅は固定、隣接する塊の間には重なりがある。スライディングウィンドウをすべてのチャンキング方法と見なすと、意味境界で切る利点を失う。段落で切ることをスライディングウィンドウと見なすと、境界で過渡情報を漏らす。どの刀法を選ぶかは、材料と用途次第である。

寓話

餅屋に包丁は一本だけではない:押して切るのはそのうちの一つの手法にすぎない

年糕舗の老周は町で認められた包丁の名手だ。彼は年糕を切るのに三つの手法を持つ。直刀切り——一本の年糕を等幅で一刀ずつ最後まで切る。餡に沿う切り——年糕の中の紅棗と蜜豆の位置に沿って包丁を入れ、各塊は大きさが不揃いだが各塊が一つの完全な餡を包む。窓押し切り——まず一寸の長さに切り、半センチ後ろにずらして次を切り、塊と塊の間に重なりがある。

ある料理店が年糕(もち米の餅)をスープの底に入れるよう注文し、1杯に2塊、各塊がスープの肉末とキノコを絡め取れることを求めました。老周はまず餡を包む切り方を試しました。各塊がナツメを包み、形は最も美しかったのですが、スープで煮るとナツメが全部崩れ、すくい上げるともち米の皮だけが残りました。料理店は味が違うと言いました。次に推窓切(押し窓切り)に変えると、各塊に重なり面ができ、肉末とキノコが重なり部分に絡み、スープは濃く感じられました。しかし鍋から出すと、各塊が同じ長さで、盛り付けが単調でした。

老周はゆっくりと注文ごとに包丁の使い方を分けた。甘い年糕——糖水に浸したものは、色と餡の完全さが必要で、餡を回る切り方を使う。塩味の汁年糕——底料が塊でかかり、重なり面が汁を受け止めることを保証するため、押し窓切りを使う。年糕の盛り合わせ——整って美しく、重ねても崩れないように、直刀切りを使う。三つの切り方はいずれも年糕を切るが、鍋に入った後の運命はまったく異なる。

ある時、徒弟は押し窓切りを唯一の切り方だと思った。蜜棗年糕に遭遇し、一尺の長さの糕の中に棗が三つしかなかったが、徒弟は押し窓切りのまま切った。二つの棗は重なり領域に落ち、鍋から出た後、棗の果肉は繰り返し加熱されて崩れた。もう一つは二つに切られ、滓がスープの底に混ざった。老周は徒弟にその糕を餡を繞る切り方で切り直すよう言った。三つの棗それぞれに沿って一つずつ切り、塊は大小あっても棗は無傷だった。

もう一つのミスマッチはもち米の蒸し糕で起きた——もち米と粘り米を混ぜて蒸した糕で、きめが粗い。見習いは押し窓式に切ったため、隣り合う塊の重なり面が多すぎて、鍋に入れると全部くっついて一塊になった。老周はこの種の糕は直刀で切るべきだと言った。一太刀で切り離し、振り返らない。

料理長は後に注文前に用途を先に話すようになった。老周は用途に応じて包丁の使い方を示した——甘いか塩辛いか、盛り付けか掛け料か、糕が硬いか柔らかいか。推窓切は老周の道具箱で最も輝く包丁になったが、唯一の包丁ではなかった。

年末に老周は学徒に総括した。分塊はドアノブであり、押し窓切りはその中の1本の鋭い包丁だ。餅が硬ければ包丁、柔らかければ手。餡があれば回り込み、餡がなければまっすぐ下ろす。入門してすぐに押し窓切りですべての餅を切る方法を聞く者には、まず米を百斤炊かせる。

チャンク化

長いテキストを複数の短いテキストチャンクに分割する一般的な戦略の大分類。固定長分割、段落単位分割、意味境界分割、スライディングウィンドウ分割など複数のサブ手法を含み、選定は下流タスクがチャンク境界とチャンク完全性に求める具体的な要件に依存する。

スライディングウィンドウチャンキング

チャンク化の具体的な戦略の一つ——固定ウィンドウ長とステップ幅で、隣接チャンク間に重複領域がある。利点はチャンク間の情報連続性が強く、コンテキストのつながりを保つ必要がある場面に適するが、チャンクが意味単位を切断する可能性があり、重複は追加の保存・処理コストをもたらす。

物語の対応

  • 老周の餅屋:チャンク戦略の統一入口、包丁の入れ方は多様
  • 直刀切り:固定長で分割し、内容や意味の境界を考慮しない
  • 餡を避けて切る:意味の境界でチャンク化し、内容単位の完全性を保つ
  • スライディングウィンドウ:スライディングウィンドウでチャンク化し、固定ウィンドウとステップで、チャンク間に重複がある
  • 学徒が推窓で蜜棗糕を切る:スライディングウィンドウを唯一の方法とみなす典型的な誤り
  • 漿米糕を窓から押し出して切ると全部くっついた:材料の質感が重ね合わせ戦略に適さず、切り方を変える必要がある

RAGシステムのチャンク戦略選定に落とし込む

一般文書は固定長チャンクと段落境界の補正で十分です。段落の意味的な完全性を保つ必要がある法律文書や契約書は、意味境界でチャンク化します。チャンク境界をまたぐ推論が必要な技術文書は、スライディングウィンドウでチャンク化し、文脈のつながりを確保します。いきなりスライディングウィンドウを既定にせず、まず文書構造と下流の検索要件を見てから、ウィンドウ長とオーバーラップ率を決めます。オーバーラップ率を高めれば文の切れ目エラーは確かに減りますが、オーバーラップが増えるほどストレージと推論予算を食い、数百万件の文書ライブラリではこの差が拡大します。

京ICP备2026014272号