← 概念解説に戻る

Concept Fable

スライディングウィンドウチャンキング

先に結論:スライディングウィンドウチャンキング(Sliding Window Chunking)は、固定サイズのウィンドウで長文書を分割し、隣接するチャンク間に一定のオーバーラップを保持します。その目的は、意味や事実がちょうど分割境界をまたぐときに切断されるリスクを減らすことです。ウィンドウサイズは各チャンクの情報容量を決め、オーバーラップ長は境界をまたぐコンテキストの保持程度を決めます。実装が簡単で安定しており、多くの初期RAGシステムや構造が不安定な長文書に適しています。欠点は、インデックスサイズ、重複召回、コンテキストの浪費が増えることです。本番システムでは通常、重複排除、リランキング、親子チャンキング、またはセマンティックチャンキングを組み合わせてノイズを制御します。

Sliding Window Chunking · Retrieval preparation

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

夜回りは毎回もう少し先まで見る

城壁はとても長く、夜回りは最初に固定の区間で引き継ぎを行った。第一隊は東門から鐘楼まで、第二隊は鐘楼から糧倉までを守った。地図は明確で、責任もはっきりしていた。

問題はいつも境界で起きる。誰かが時計塔の前に火種を埋め、東門隊はそれはもう次の区間に近いと言う。時計塔の後ろの足跡は穀倉隊が見つけたが、その前で何が起きたかは分からない。

城主はまず区間をさらに短く切った。夜回りはより細かくなり、引き継ぎの回数も増え、記録簿は山のように積み上がった。多くの人は自分の十歩の道しか知らず、前後につながった動向は依然として見えなかった。

後に彼は路段をさらに長く切った。コンテキストは十分になったが、各隊が背負う範囲が大きすぎ、本当に異常な数歩が長い報告の中に埋もれてしまった。短さには短さの盲点があり、長さには長さの負担がある。

ある老いた夜回りが素朴な方法を提案した。各隊は依然として固定長を歩くが、次の隊は前の隊がまだ歩き終えていない場所から早めに始める。二つの隊の間に重なりを残せば、境界はもうブラックホールではなくなる。

こうして、鐘楼付近の火種は同時に二つの夜回り記録に現れる。東門隊はその来処を見られ、糧倉隊もその去向を見られる。重複には代償があるが、境界上の危険を見落とすよりは安い。

城主は記録が増えることを心配した。老いた夜回りは言った。重複は欲張って多くしてはいけないし、窓も任意に大きくしてはいけない。道が複雑になるほど、重複は一つの事柄が区間をまたいで続く最小長を覆える必要がある。そうでなければ、紙の上の安心感を作るだけだ。

その後、城壁、河道、倉庫でもこの巡回法が使われた。各記録は独立して読め、前後の記録と少しずつ噛み合い、調査員が連続した出来事を再現するのに十分だった。そこで皆は、境界は設計されるべきであり、存在しないふりをすべきではないと理解した。老夜回りはさらに、重複区間は真剣に読まれなければならないと注意した。次の隊がただ機械的に書き写すだけなら、紙は増えても目は増えない。本当に役立つ重複とは、両隊が境界付近で何が起きたかを理解できることであり、同じ文を帳簿に繰り返し書くことではない。城主は後にこの方法を案巻や帳簿にも使った。ある事柄が境界をまたぐ可能性があれば、少し重複を残し、次の区間が前の区間を受け止められるようにした。後の振り返りで、皆はこの経験を日常の規則に書き加えた。まず現場で何が実際に結果を変えたかを見て、それから何を残し、何を修繕し、何を制限するかを決める。

明らかにする

この物語が語るのは:スライディングウィンドウチャンキング

スライディングウィンドウチャンキング(Sliding Window Chunking)は、固定サイズのウィンドウで長文書を分割し、隣接するチャンク間に一定のオーバーラップを保持します。その目的は、意味や事実がちょうど分割境界をまたぐときに切断されるリスクを減らすことです。ウィンドウサイズは各チャンクの情報容量を決め、オーバーラップ長は境界をまたぐコンテキストの保持程度を決めます。実装が簡単で安定しており、多くの初期RAGシステムや構造が不安定な長文書に適しています。欠点は、インデックスサイズ、重複召回、コンテキストの浪費が増えることです。本番システムでは通常、重複排除、リランキング、親子チャンキング、またはセマンティックチャンキングを組み合わせてノイズを制御します。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 固定区間の引き継ぎ:固定長 chunking
  • 問題は境界にある:重要な意味がchunkの境界をまたいで断裂する
  • さらに短く切る:chunk を小さくすると局所精度は上がるが、コンテキストが不足し、数が増える
  • もっと長く切る:chunk を大きくすると文脈は保たれるが、検索が粗くなりノイズが増える
  • 次のチームが前倒しで開始する:スライディングウィンドウのoverlap
  • 同じ火種が二つの記録に現れる:境界を越えた情報保持のために重複保存する
  • ウィンドウは任意に大きくできず、重複も欲張れない:chunk size と overlap のエンジニアリング上のトレードオフ
  • 共通視野:RAG システムが連続的な意味のために確保するコンテキストバッファ

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

chunk overlapchunk size

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号