寓話
複数の伝令隊が一つの鍵部屋を共有
王城の回信院はもともと各信使隊に鍵部屋を一つずつ与えていた。各隊は古い手紙を調べ、索引を取り、返信を書くのが速かったが、倉庫はますます混み合い、鍵管理者も増えていった。
経理係は気づいた。本当に高くつくのは信使が字を書くことではなく、各段階で大量の古い手紙の索引を保存し運搬することだ。長い手紙が増えるほど、鍵部屋は場所を取る。
院長はまず伝令隊の一部を削減した。コストは下がったが、返信の質も落ちた。異なる隊がもともと異なる視点を担っていたからだ。
二度目の修補は古い手紙を切り詰めることだった。速度は上がったが、長い会話、長いコード、多ターンのツール結果に遭遇すると、重要なコンテキストが失われた。
後に彼らは信使隊をグループ分けした。グループ内の複数のクエリ隊は依然として異なる観察角度を保つが、同じ鍵と値の倉庫を共有し、重複した存取を減らした。
これは完全に一つの大きな鍵部屋に戻るのでもなく、各チームが独占するのでもない。表現能力と推論効率の間で中間の道を取っている。
企業が巨大な書吏を配備するとき、この違いは現実的だ。コンテキストが長く、並行性が高いほど、KV Cacheの占有がコストのボトルネックになりやすい。グループ化はメモリ負荷を下げつつ、マルチヘッドクエリの能力をできるだけ保つ。
院長は最後にこう言った。コスト削減は能力を削るだけではいけないし、各チームがすべてを複製するままにしてもいけない。良いアーキテクチャは、必ず異なるべきところを残し、共有できるところを統合する。その後、さらに厄介な仕事が来た。表面的には古い問題の拡大に見えるが、実際にはプロセスに隠れた隙間をすべて押し出した。誰が先に引き継ぐか、誰が変更できるか、誤りが出たときどうやって前の段階に戻るか。かつては顔なじみの暗黙の了解でやり過ごしていた場所が、今ではすべて明確にしなければならない。主事者はもう皆にもっと気を配れと急かさず、現場をもう一度歩き直した。彼は各引き継ぎ、各失敗、各補救を記録させ、どこが単に遅いだけか、どこが結果を誤って傷つけるか、どこが一度誤ると追跡しにくいかを洗い出した。新しい規則が広がってから、最初の数日は順調ではなかった。検査が一つ増えたと嫌がる者もいれば、古い経験が侮辱されたと感じる者もいた。しかし次に異常が現れたとき、皆は初めて痕跡をたどって問題の起きた位置を見つけられた。結果を囲んで互いに推測するのではなく。