← 概念解説に戻る

Concept Fable

ドキュメントストア

先に結論:Document Store は、RAG、検索、質問応答パイプラインにおいてテキスト、メタデータ、埋め込みベクトル、インデックス情報を保存するストレージ抽象である。Elasticsearch、OpenSearch、ベクトルデータベース、リレーショナルデータベース、またはフレームワーク内蔵ストレージで実装できる。企業アプリケーションでは、メタデータフィルタリング、権限分離、バージョン更新、削除、トレーサビリティ、ハイブリッド検索、可観測性をサポートする必要がある。

Document Store · 検索インフラの抽象化

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

書庫は書名だけでなく、各頁の来歴も置くようになった

南城の書庫は以前、書名と著者しか登録していなかった。読者が質問すると、館員はまず一冊の本を探し、最初から最後までめくっていた。

後に問い合わせる人が増え、質問も細かくなった。ある人は特定ページの条項だけを求め、ある人は最新版だけを見て、ある人は自分の商号の文書ファイルしか見られない。古い登記簿はすぐに足りなくなった。さらに顧客が古い契約の一つを撤下するよう求めた。館員は書架から原書を取り除いたが、木箱に散らばった抜粋を忘れ、数日後の質疑応答は依然としてその古い条項を引用していた。

管理者はまず抜き書きの紙片を普通の木箱に入れた。いくつかの答えは見つかるが、紙片がどの本の、どのページの、どの年の版から来たのか、誰に閲覧資格があるのかは区別できなかった。

彼はまた、原文、要約、権限札、更新記録を別々に保存した。一枚の紙片にヒットした後も、出所を四方から拼ぎ合わせなければならず、しばしば古い版を間違えて取り、甲商号の資料を乙商号に渡すことさえあった。

新館長は専門書庫を設立した。各断片には本文、出典ページ番号、主題タグ、版、更新日時、可視範囲、隣接段落の位置が付く。関連する断片も番号でつながれている。最初の専門書庫も過ちを犯した。本文だけを保存し、隣接段落を保存しなかったのだ。館員がある例外を答える際、前の段落の制限条件を漏らし、また論争を引き起こした。

館員は字面、主題、または条件で資料を取れる。回答時、引用は正確に原書へ戻れる。顧客が巻を削除すれば、関連する断片と索引も一緒に消される。

書庫は依然として維持が必要だ。旧版の廃止、新版の差し替え、権限の変化、重複断片の統合、いずれも専任者が確認する。各更新は旧版の行き先を残す。ある答えがなぜ変わったか問われれば、館員は新版条項の差し替えか、権限の厳格化か、断片の統合かを調べられる。館長は各断片に失効リマインダーも設けた。ある種の契約が満了し、あるロットの説明書が回収されると、書庫は館員に再確認を促す。保存できるだけでは第一歩にすぎず、変化後に誤用し続けないことが信頼の条件だ。

館長は最後に、問答の土台は散らばった紙の山ではなく、検索、引用、権限、更新を支えられる文書書庫でなければならないと悟った。

明らかにする

この物語が語るのは:ドキュメントストレージ

Document Store は、RAG、検索、質問応答パイプラインにおいてテキスト、メタデータ、埋め込みベクトル、インデックス情報を保存するストレージ抽象である。Elasticsearch、OpenSearch、ベクトルデータベース、リレーショナルデータベース、またはフレームワーク内蔵ストレージで実装できる。企業アプリケーションでは、メタデータフィルタリング、権限分離、バージョン更新、削除、トレーサビリティ、ハイブリッド検索、可観測性をサポートする必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 書名だけを登録:粗い文書目録
  • テキスト断片、ベクトル、タグ、権限:RAGに必要なドキュメントオブジェクトの属性
  • 普通のフォルダ:ガバナンス不能な一時ストレージ
  • 分散保存:原文、ベクトル、権限が分断
  • 専用書庫:Document Store
  • キーワード、ベクトル、フィルタ条件:全文・セマンティック・メタデータ検索
  • バージョン置換と削除:データライフサイクル管理
  • 最終的な洞察:Document Store は検索アプリケーションの文書、インデックス、ガバナンスの基盤である

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

Haystackベクトルデータベースretrieverメタデータフィルタリングindex
京ICP备2026014272号