寓話
文書庫はまず紙巻を帳簿に載せられる項目に分解する
県衙の庫房には契紙、税票、訟状、田界図が積まれている。書記が各巻を一串の文字に圧縮すれば、標題、表の列、騎縫印、図辺の小字が一緒に失われ、後の検索も元の頁に戻れなくなる。
主簿はまずページ構造を判断し、見出し、本文、注釈、表、印、図注を区別し、各断片にページ番号、座標、元ファイルの出所を保持する。スキャン文書はまず OCR を通し、次に低信頼度領域をマークする。
税票の行と列の関係が金額の意味を決める。書記はセル、複数行にまたがる見出し、合計関係を別々に記録し、「税率」と「税額」を混ざった一文にしないようにする。
アーキビストはサンプリングした原本でテキスト、構造、出所を照合し、図章の認識漏れを見つけたときは該当ページだけを修正する。解析失敗は保留キューに入り、静かに一見完全な文書を生成することはない。
文書解析の産物はプレーンテキストではなく、構造、レイアウト、出所を伴うインデックス可能な要素です;これらの情報が RAG が正しい証拠を見つけて引用できるかを直接決定します。