寓話
遠路費が距離に応じて増える駅
長河駅はますます長くなる信巻を処理しなければならなかった。旧規則では、各信使が巻中のどの位置を見るにも同じコストがかかり、近くの注釈も百ページ前の古い言葉も同じ地図に置かれた。
ショートメッセージの時代にはこれで問題なかった。長い手紙が来ると、使者は遠くて重要でない文にしばしば引き寄せられ、本当に近くにある制約が見落とされた。
駅丞はまずすべての長い手紙を切り詰めた。速度は上がったが、重要な背景も切り落とされ、顧客が四半期をまたぐ方針を尋ねても、答えは直近の数段落だけになった。二度目の修正は古い段落に要約を付けることだった。要約は役立つが細部を押しつぶし、原文を引用しなければならないタスクにはまだ足りない。
後に駅丞は簡単な規則を導入した。遠くを見るほど、既定の路銀が高くなる。飛脚は依然として遠くの内容を閲覧できるが、距離バイアスを相殺する十分な理由がなければならない。この規則は各位置に複雑な座標を訓練する必要がないのに、長巻の読解をより安定させた。近くの関係は自然に保たれ、遠くの依存関係は本当に関連するときだけ浮かび上がる。
企業の長文コンテキストタスクでは、この手法が訓練時より長い系列への外挿を助け、同時に注意分布を制御する。完全な記憶システムではないが、長系列処理の素朴なエンジニアリングレバーである。
駅丞は規則を変えた。現在の注釈から遠い古い話ほど、信使は少し多く足代を払う。近くの手がかりを先に見て、遠くの手がかりは重要なときだけ呼び出す。当初は遠くの伏線を見落とすのではと心配する声もあった。そこで駅丞は長い手紙に赤い紐の索引を付け、本当に重要な遠くの約束は依然として机に引き戻せるようにしたが、目の前の条件を勝手に押しのけることはなくなった。
この小さな事故で人々は立ち止まり振り返った。彼らは急いでより響きの良い言い方に変えるのではなく、誤った入口、誤解されたルール、保持すべき境界を一つずつ書き出した。
いくつかの複雑な商契約を処理するうちに、使者はついに百ページ先の雑談に引っ張られなくなり、長い手紙を短く切る必要もなくなった。距離が秩序の一部になり始めた。駅丞は最後に言った、長い道は歩けないわけではないが、システムは遠近を知るべきだと。距離バイアスがなければ、長いコンテキストはすべての手がかりを同じノイズに平らにしてしまう。