← 概念解説に戻る

Concept Fable

セマンティックチャンキング

先に結論:セマンティック・チャンキングは、固定の文字数、トークン数、行数で機械的に分割するのではなく、意味の境界に従って文書を分割する。各チャンクをできるだけ完全な意味単位、たとえば一つのルール、一つの手順、一つの定義、一連の例外、一つの事例にしようとする。セマンティック・チャンキングはRAGの検索と生成の品質を向上させる。embeddingが見るのは完全な意味であり、モデルが受け取るコンテキストも断裂が少なくなるからだ。その代償は実装の複雑さが増すことで、通常は見出し構造、段落境界、文ベクトル類似度、パーサー、LLMによる補助分割を組み合わせ、チャンクサイズ、オーバーラップ、コストの間でトレードオフを行う必要がある。

セマンティックチャンキング · 検索準備

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

紙裁ち職人はもう物差しで本を切らない

文書館は長い巻物を新しい索引棚に収めようとした。最も初期の紙裁ち職人はとても手軽にやった。三十行ごとに一刀を入れ、どの紙も長さを同じにし、引き出しに入れても整った。

最初は誰も文句を言わなかった。読者が細かい質問をし始めるまで、館員は多くの答えが一刀両断されていることに気づかなかった。前半の文は前の紙に、条件は次の紙に。見出しは前に残り、本当のルールは後ろに落ちている。

館長は紙漉き職人に、各紙の間に数行の重なりを多く残すよう命じた。断裂はいくらか減ったが、引き出しは急速に満杯になり、同じ文が繰り返し収録された。検索時には、ほとんど同じ紙が何枚も同時に取り出され、机の場所を占めた。

またある人は章の見出しで切ることを勧めた。しかし長い章もあり、中には背景、定義、例外、操作手順が混ざっている。二言しかない章もあり、単独の塊では薄すぎる。一人の老編集者は、まず物差しを取らなかった。彼はまず各段落を読み、話題が本当にどこで曲がるかを見た。背景から規則へ、規則から例外へ、例外から例示へ。曲がり角でだけ切り分けた。

彼はまた、見出し、リスト、前後の文の関係も一緒に見る。短い段落の中には、単なる補足条件なので前の文と一緒に置かなければならないものがある。長い段落の中には、見出しは変わっていないのにすでに別のテーマに移っているものもある。

新しい切り方は定規で切ったように整ってはいないが、読者が受け取る紙はより一つの完全な意味単位に近づいた。返品例外を尋ねても『以下の場合を参照』だけを受け取ることはなく、承認条件を尋ねても前の適用範囲が欠けることはない。後に館員は、索引棚が静かになったことに気づいた。資料が減ったからではなく、毎回取り出される断片がより完全で問題に近くなり、機械が砕けた文の間で縫い目を推測する必要がなくなったからだ。

紙裁ち職人はまず読んでから裁つようになる。同じ問題、条件、例外を一枚の紙に留める。長い段落に遭遇すると、見出し、転換点、リストの端に沿って切り込む。最初の数日は裁ち方が遅く、司書は棚への収納速度が落ちたと不満を言う。しかし読者が再び細かい質問をすると、持ち出す紙は少なくなり、答えは完全で、机の上も重複ページで溢れなくなった。

館長は後にこう定めた。紙を裁つのは一枚一枚を同じ長さにするためではなく、後で紙を探す人が一塊の完全な意味を受け取れるようにするためだ。館長はついに古い物差しを引き出しにしまった。文書を切るのは長さを見栄えよくするためではなく、意味が断ち切られないようにするためだ。

明らかにする

この物語が語るのは:セマンティック分塊

セマンティック・チャンキングは、固定の文字数、トークン数、行数で機械的に分割するのではなく、意味の境界に従って文書を分割する。各チャンクをできるだけ完全な意味単位、たとえば一つのルール、一つの手順、一つの定義、一連の例外、一つの事例にしようとする。セマンティック・チャンキングはRAGの検索と生成の品質を向上させる。embeddingが見るのは完全な意味であり、モデルが受け取るコンテキストも断裂が少なくなるからだ。その代償は実装の複雑さが増すことで、通常は見出し構造、段落境界、文ベクトル類似度、パーサー、LLMによる補助分割を組み合わせ、チャンクサイズ、オーバーラップ、コストの間でトレードオフを行う必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 三十行ごとに一刀:固定長チャンク
  • 答えは一刀両断:機械的な分割が意味の境界を壊す
  • 数行多く重ねる:chunk overlap。断裂を緩和できるが、重複とコンテキスト占有を増やす。
  • 章見出しで切る:構造化された分割は役立つが、見出しの階層が常に意味境界と一致するとは限らない
  • 話題が本当に曲がる箇所に切り込む:semantic chunking の核心的判断
  • 見出し、リスト、文脈の関係:意味的分割に使える文書構造のシグナル
  • 完全な意味単位:embedding、retrieval、LLM コンテキストでの利用により適した chunk
  • 断片化した文の間の隙間を推測する必要がない:コンテキストの断裂によるRAGの誤答を減らす

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

チャンキングembeddings
京ICP备2026014272号