← 概念解説に戻る

Concept Fable

チャンク化

先に結論:チャンキング(Chunking)は、長い文書を検索やモデルのコンテキストに収めるのに適した小さな断片に切ることである。RAGシステムは通常、文書全体をそのままモデルに詰め込むことはできず、まず文書をチャンクに切り、ベクトル化し、インデックス化してから、質問に応じて関連チャンクを召回する。チャンキングの品質は、召回精度、コンテキストの完全性、引用の正確性、回答品質に直接影響する。良いchunkingは機械的に文字数で切るのではなく、意味の境界、見出し構造、オーバーラップ、チャンクサイズ、親子チャンク、token予算を考慮する必要がある。

Chunking · Retrieval preparation

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

筆写員は長い巻物を見つけられる頁に切り分ける

文書館に非常に長い巻物が一批あった。あるものは城門の修繕から橋税まで語り、あるものは商隊の紛争から埠頭条例まで語った。館長はこれらの巻物が重要だと知っていたが、誰かが小さな質問をするたびに、巻物全体を広げなければならなかった。

最も初期の方法は巻物を丸ごと入库することだった。これが最も手間がかからず、巻宗も完全だった。しかし読者が「東橋の南側に臨時に棚を建てられるか」と尋ねると、検索員は『街市与桥梁年志』の巻物を丸ごと運んでくるしかなく、その九割は無関係な内容だった。

ある者は長すぎると嫌い、各巻を一定の長さで切り分けた。十尺ごとに一段、きちんと整えて。最初の数日は速くなったが、後に問題が起きた。ある重要な規定は前半が前の段に、後半が次の段にあり、読む者は半分の意味しか見えない。

そこで写本係は見出しごとに切ることにした。小見出しに出会うたびに、別のページを起こす。これは十尺一刀よりは良いが、ある巻宗は乱雑に書かれ、見出しがほとんどない;ある見出しは立派だが、その下に三つの全く異なる問題が混ざっている。

ある若い写字生がまず内容を読むようになった。彼は本当に切るべき場所は、定規がどこまでかでも、必ずしも見出しがどこかでもなく、意味が境界を変える場所だと気づいた。橋梁構造から税務へ、条例原文から裁決事例へ、背景から例外条件へ。

彼はまた隣接するページに少量の重複を残した。境界をまたぐ問題があり、完全に切断すると次の読者が前後の文脈を失うからだ。

後に館長は定めた:長巻を入庫する前に、まず質問と検索に適したページに切らなければならない。ページが大きすぎると、検索で戻るノイズが多い。ページが小さすぎると、意味が砕ける。境界を切り間違えると、答えは最初から歪む。

読者に見えるのは依然として館長の回答だが、回答の質を実際に決めているのは、しばしばその質問が起きる前に終わっているページ分割の作業だった。公文書館の人々はそこで理解した。資料は入れただけで使えるようにはならない。長い知識を、検索でき、理解でき、引用できる単位にまず切らなければならない。後に公文書館がいくつかの誤答を再調査すると、多くの誤りは館長が読み間違えたのではなく、ページの切り方が不格好だったことがわかった。ある人は条例だけを受け取り、例外を受け取らなかった。ある人は事例を受け取ったが、前段の適用範囲を漏らした。館長はそこでページ分割者に境界の理由を書き記すよう求め、定期的に、検索されたが役に立たなかったページ、検索されるべきだったのにされなかったページを切り直させた。ページ分割は雑用から、検索品質を決める技芸へと変わった。

明らかにする

この物語が伝えるのは:チャンキング

チャンキング(Chunking)は、長い文書を検索やモデルのコンテキストに収めるのに適した小さな断片に切ることである。RAGシステムは通常、文書全体をそのままモデルに詰め込むことはできず、まず文書をチャンクに切り、ベクトル化し、インデックス化してから、質問に応じて関連チャンクを召回する。チャンキングの品質は、召回精度、コンテキストの完全性、引用の正確性、回答品質に直接影響する。良いchunkingは機械的に文字数で切るのではなく、意味の境界、見出し構造、オーバーラップ、チャンクサイズ、親子チャンク、token予算を考慮する必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 非常に長い巻宗:企業の PDF、ウェブページ、マニュアル、契約書、ナレッジベース記事などの長文書
  • 丸ごと入库:分割しない、または块が大きすぎると、召回ノイズが多くコストも高い
  • 十尺ごとに一段:固定長分割で、単純だが意味を切断しやすい
  • 見出しで分割:構造化分割、文書自体のフォーマット品質に依存
  • 意味で境界を変える:意味論的チャンキングで、一つの chunk 内の主題をできるだけ完全に保つ
  • 隣接ページに重複を残す:chunk overlap、少量の重複で境界断裂リスクを低減
  • ページが大きすぎる場合と小さすぎる場合のトレードオフ:chunk sizeが再現率とコンテキストの完全性に与える影響
  • 問題発生前のページ切り作業:chunkingはRAGの前段工程であり、回答段階で初めて補うものではない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

ドキュメント解析token budgetoverlapsemantic chunking検索の粒度context window
京ICP备2026014272号