寓話
文書館は開巻の前にまず短信箱を圧縮することを学んだ
師爺は県令に代わって案巻を整理した。元巻を抱えて法廷に上がっても、県令は半日かけても要点を見つけられなかった。師爺は最初は厚い前情材料に頼って仕事をし、顔なじみの道で、規模が小さいうちはほとんど誤らなかった。師爺は気づいた。案巻が収まるからといって判断がうまくできるわけではない。本当に役立つのは、現在の意思決定を変えられる事実、制約、出典、未決の問題である。
後に案件は審理が長引くほど、古い証言、繰り返しの雑談、無関係な家事が混ざり合った。材料が積み上がるほど長くなり、繰り返しの叙述は重要な証拠を押し出し prefill コストを増やす；盲目的な切り詰めは決定的な日付や条件を削除する可能性がある。
最初の修正は慌てていた：彼はまず書類を手当たり次第に短く切り、重要な日付まで切り落としてしまった。ページ数で書類を強引に切ると入力は短くなるが、重要な日付や制約も一緒に削除される。しかし新たな問題が続いて現れ、皆は最も目につきやすい箇所ばかりを見て、遠くの小さなずれがますます深く積み重なった。
その後彼は現在の問題に応じて選別、統合、要約し、判断に影響する骨格だけを残し、出典と圧縮理由を明記した。必要なら元の巻に戻って再確認できる。
後に師爺は手がかりに沿って再編成した。人物、争点、証拠の出所、未決問題を残し、重複する記述は最も明確な一通だけを残した。この作業は面倒で、当初は工期を遅らせた。しかし数ラウンド後、手戻りが減り、職人も気まぐれで規則を変えなくなった。案巻は短くなっても判断の骨格は保たれ、県令は速く読め、かつ原証拠まで追及できた。
これ以降、コンテキスト最適化は短ければ短いほど良いという話ではなく、token、レイテンシ、KV cache、証拠の完全性の間で監査可能なトレードオフを行うことになった。
県令は速く読めるようになり、詳しく尋ねる時も元の巻に戻って照合できた。それ以来、資料が長すぎる時は、削るのではなく、判断に影響する骨格を残すようになった。