← 概念辨析に戻る

Concept Contrast Fable

分块と意味的分块。一つは長文を段落に切るもので、もう一つは字数ではなく意味で切るものである。

先に結論:チャンキングとは、長いテキストをより小さな断片に分割し、埋め込み・検索・処理を行いやすくする一般的な操作です。セマンティックチャンキングはチャンキングの具体的な戦略の一つで、固定の文字数や文字数ではなく、意味的な境界(段落、文の終わり、トピックの切り替わり点など)に基づいて分割します。すべてのセマンティックチャンキングはチャンキングですが、すべてのチャンキングが意味的境界を重視するわけではありません。文字数で機械的に切ったチャンクは文の途中で途切れることがあります。

チャンキングとは、長いテキストをより小さな断片に分割し、埋め込み・検索・処理を行いやすくする一般的な操作です。セマンティックチャンキングはチャンキングの具体的な戦略の一つで、固定の文字数や文字数ではなく、意味的な境界(段落、文の終わり、トピックの切り替わり点など)に基づいて分割します。すべてのセマンティックチャンキングはチャンキングですが、すべてのチャンキングが意味的境界を重視するわけではありません。文字数で機械的に切ったチャンクは文の途中で途切れることがあります。

寓話

肉を切るには二通りの包丁の使い方がある。一つは斤量で切り、一つは肉の繊維に沿って切る。

町の肉屋に二人の徒弟がいて、同じ師匠について三枚肉の切り方を学んでいた。老師匠の規則は明確だった。三枚肉は一塊を一人前とし、重さは一斤前後、誤差は一両以内とする。大徒弟の張刀は正直に規則に従った。肉を一塊ずつ秤に載せ、包丁を振るって一斤に切り、袋に詰める。

半年後、客がフィードバックを始めた。張の包丁で切った肉は分量は標準的だが、一切れごとの肉の組織構造がめちゃくちゃだ——一盛りの中に半分は赤身で筋が一本つながっていたり、小さな軟骨が真ん中に埋まっていたりする。劉の包丁で切った肉は分量は標準的でないが、組織構造は明確だ——同じ一切れの中は赤身か脂身のどちらかで、筋は一枚の上に完全に残るか完全に分離しているかのどちらかだ。客の評価は率直だった。「張の肉を炒めるには一切れごとにばらさなければならない。劉の肉は鍋に入れた時点で一つのまとまった食感になる。」

師匠は二人の弟子を呼び寄せ、まな板の上に同じ一塊の三枚肉を敷いて、一つの問いを投げかけた。肉を切るのは結局誰のためなのか。張刀の答えは客のため——どの一人前も同じ重さで、公平だ。劉刀の答えも客のため——どの一人前も同じ一片の肉の内部一貫性を保ち、食感が完全だ。師匠は言った。どちらも正しい。だがお前たちが切り出すものは、使われる場所が違う。紅焼肉には大きく均整の取れた塊が必要で、張刀の刀法を使う。火鍋のしゃぶしゃぶには薄く均一な片が必要で、劉刀の刀法を使う。

張刀のやり方は重さで切るようなものだ。どの分もほぼ同じ重さで、肉の筋がどこを通るかは問わず、一刀で切り分ければ一份とする。公平な分量が必要な商売には役立ち、帳尻も合わせやすい。だが一本の筋を真ん中で二つに切ってしまい、客が鍋に入れてから、前半分はこの袋、後ろ半分は別の袋だと気づくことがある。

劉刀のやり方は肉の繊維に沿うことだった。彼はまず一皿何両かを問うのではなく、まず脂身と赤身の境目、筋膜の走り、骨際の位置を見て、自然な切れ目を探す。こうして切った肉は内部の食感が引き締まり、一枚でその肉の性質を示せる。欠点も明らかで、ある片は大きく、ある片は小さく、長い筋や長い肉に当たると均等な分量を保つのが難しい。

後に肉屋は新しい業務を引き受けた——城内の酒楼に現切りしゃぶしゃぶ用肉片を供給する。親方は張刀の固定重量の刀法を直接止め、すべて劉刀の纹理刀法に切り替えた。しゃぶしゃぶには肉片の纹理が一致している必要があるからだ。同時に彼は下限も定めた。各肉片は宣紙より薄くてはならず、しゃぶしゃぶ時に一挟みで散ってしまう。また肉の塊を切らずに出すこともできない。客は鍋に入れられないからだ。

師匠は最後に二人の弟子に混合ルールを定めた。まず木目に沿って大きな塊を分け、次に各塊をおよその分量で整える。あるいは先に分量で粗く切り、筋膜で切れているところに追加で一刀を入れる。包丁と切り方は二者択一ではなく、客が紅焼き、しゃぶしゃぶ、餡のどれを求めるかを見て、二つのルールをどう組み合わせるかを決める。

チャンク化

長いテキストを短い断片に分割して埋め込み、インデックス化、または処理する一般的な操作。戦略には固定サイズ分割、段落単位分割、意味分割、再帰分割がある。RAG パイプラインの上流ステップであり、検索品質に直接影響する。

セマンティックチャンキング

チャンク分割の具体的な戦略の一つで、固定文字数ではなく意味境界(話題の転換、段落、論証単位)に基づいてテキストを分割する。目標は各チャンク内部の意味的な完全性と独立性を保つことで、代償としてチャンクサイズが不均一になる。

物語の対応

  • 張刀の秤量切り分け法:固定サイズチャンク——均一だが内容構造を尊重しない
  • 劉刀のテクスチャ切り方:セマンティックチャンキング——不均一だが各チャンク内部の構造は完全
  • 客の評価:「張刀の肉はほぐれ、劉刀の肉はそのままだ」——チャンク戦略が下流の使用体験に与える影響
  • 紅焼肉は重量法、火鍋はテクスチャ法:異なるシーンに異なるチャンキング戦略を適合させる
  • 文は二つの塊の間で断ち切られる:固定分塊の最大の欠陥——情報断裂
  • しゃぶしゃぶ肉片に最小厚さの下限を設ける:セマンティックチャンキングには最小チャンク境界を設け、極端なケースを防ぐ
  • ハイブリッド戦略:現実のRAGシステムにおける一般的な手法——セマンティックと固定チャンクの組み合わせ

RAG システムのチャンク戦略選択に落とし込む

RAGシステムの分塊パイプラインを設計するとき、「固定サイズ」と「セマンティック分塊」の二択にしてはいけない。まず文書タイプを決める。構造の強い技術文書なら、セマンティック分塊で章や段落ごとに切るのが最も効果的。チャット記録やソーシャルメディアの内容なら、固定ウィンドウに重複を加えるほうが安定するかもしれない。次にA/Bテストを行う。同じクエリ群を2つの分割戦略の検索結果でそれぞれ実行し、上位5件の情報完全性を人手評価で比較する。成熟したRAGシステムの多くは階層戦略を使う。第1層で大きめのセマンティック分塊を行い文脈の完全性を保証し、第2層で塊内を小粒度の検索断片に切って精度を制御する。分塊戦略に銀の弾丸はない——具体的なデータとクエリパターンで繰り返し調整して初めて収束する。

京ICP备2026014272号