← 概念辨析に戻る

Concept Contrast Fable

コンテキストエンジニアリングと検索拡張生成

先に結論:RAG は「外部知識をどうモデルに与えるか」を教え、コンテキストエンジニアリングは「与えるものの品質がどうか、うまく並んでいるか、ウィンドウを溢れさせていないか」を教えます。RAG だけを語りコンテキストエンジニアリングを語らなければ、おそらく悪い検索結果をそのままモデルに詰め込むことになります。

RAG は「外部知識をどうモデルに与えるか」を教え、コンテキストエンジニアリングは「与えるものの品質がどうか、うまく並んでいるか、ウィンドウを溢れさせていないか」を教えます。RAG だけを語りコンテキストエンジニアリングを語らなければ、おそらく悪い検索結果をそのままモデルに詰め込むことになります。

寓話

資料館の二つの工程

城の東に資料館があり、館内には数十万巻の記録文書が収められていた。館長は一連の流れを設計した。誰かが資料を調べに来ると、管理人がまず書庫で関連する巻宗を検索し、最も近い二十巻を選び出して閲覧室の机まで運び、調べる人自身にめくってもらう。この流れは一年余り運用され、館長はそれに「検索補読」と名付けた。

問題が徐々に現れた。資料を調べる人々から、机の上の二十巻のうち本当に役立つのは五六巻だけで、残りの十数巻は時代遅れか別の事柄を扱っているという声が上がった。さらに頭が痛いのは、二十巻を運んでくると机がすでにいっぱいで、もっと関連情報を見たくても置く場所がないことだった。

館長は整理士を招いた。整理士は検索の段階には触れない——彼女は庫内の巻宗がどう選び出されるかには関与しない。彼女が担うのはただ一つ、検索された二十巻が閲覧室に届いた後、どう整理し、どう並べ、どう取捨するかである。

整理士は閲覧室の机の上に三つの工程を加えた。第一は選別と呼ばれる。二十巻のうち明らかに関係ないものを先に撤去し、机のスペースを空ける。第二は並べ替えと呼ばれる。残った巻物をクエリとの関連度で並べ替え、最も関連するものを一番上に置く。第三は要約と呼ばれる。特に長い巻物は重要な段落を抜き出し、資料を調べる人が一目で要点を見つけられるようにする。

この三道の工程を加えただけで、資料を調べる人のフィードバックは大幅に良くなった。机の上は無用な情報で溢れなくなり、回答の質は明らかに向上した。しかし興味深いことに、館長は以前から「資料検索が不正確」を検索システムの性能不足のせいにして、検索パラメータを繰り返し調整し、索引方式を変えても、効果は限られていた。整理師が来てから、同じ検索結果でも品質が一段上がった。

館長はそこで工程を正式に二つに分けた。第一は「検索」と呼び、庫から関連巻宗を探し出すことに専念する。第二は「コンテキスト整理」と呼び、整理、並べ替え、截断、標注に専念し、実際に資料を調べる人の目の前に届く情報が精錬されていることを確保する。

後に資料館が対外的に紹介するとき、もはや「検索補助読解があります」とだけは言わなくなった。館長はこう付け加える。検索は第一歩、コンテキスト整理は第二歩である。第二歩を飛ばせば、どんなに良い検索結果も無駄になりうる。

同業者が経験を求めに来て、館長に資料館の核心競争力は何かと尋ねた。館長は言った。皆が使う検索技術はほぼ同じで、差を広げるのはコンテキスト整理という工程だ。誰が机の上をきれいに片付けるか、誰のサービスがより良い。

コンテキストエンジニアリング

「モデルが最終的に何を見るか」を体系的に管理・最適化するエンジニアリング実践。検索後の選別、再ランキング、切り詰め、圧縮、重複排除、フォーマットを含み、限られたコンテキストウィンドウ内の情報密度を最大化することを目指す。

検索拡張生成 (RAG)

外部知識検索と言語モデル生成を組み合わせたアーキテクチャパターン。核心的な流れは:クエリ → 検索 → 結果をプロンプトに組み込む → モデルが回答を生成する。これは「どのように知識を喂み込むか」という全体的な枠組みを定義する。

物語の対応

  • 検索システムがライブラリから二十巻を選び出す:RAG の検索段階。
  • 整理師の三道工程(選別、並べ替え、要約):コンテキストエンジニアリングの中核動作。
  • 館長は検索パラメータを繰り返し調整したが効果は限定的だった:RAG の層だけで最適化し、コンテキストエンジニアリングを無視していた。
  • デスクトップ空間は限られている:モデルのコンテキストウィンドウには長さ制限があり、無効な内容が有効情報の空間を圧迫する。
  • 差を生むのは検索技術ではなくコンテキストの整理:現在のRAGシステムのボトルネックはしばしば検索の後にある。

プロジェクトに落とし込む

RAGシステムの効果を評価するときは、検索品質とコンテキスト品質を分けて測る。検索品質はヒット率と再現率を見て、コンテキスト品質は最終的にプロンプトに詰め込まれる情報密度、関連性ランキング、切り捨て損失を見る。よくある分析シグナル:検索ヒット率は高いのに最終回答品質が悪い場合、ボトルネックはおそらくコンテキストエンジニアリングにある——たとえば再ランキング戦略が不合理、あるいは切り捨て時に重要情報を切ってしまっている。

京ICP备2026014272号