寓言故事
远路费按距离递增的驿站
长河驿站要处理越来越长的信卷。旧规矩下,每个信使查看卷中任何位置的成本都一样,近处批注和百页前的旧话被放在同一张地图上。
短信时代这没问题。长信一来,信使常被遥远但不重要的句子吸走,真正附近的约束反而被忽略。
驿丞先把所有长信截短。速度变快了,关键背景也被切掉;客户问跨季度政策,答案只剩最近几段。第二次修补是给旧段落做摘要。摘要有用,却会压扁细节,遇到必须引用原文的任务仍然不够。
后来驿丞引入一条简单规矩:看得越远,默认路费越高。信使仍然可以查看远处内容,但必须有足够理由抵消距离偏置。这条规矩不需要给每个位置训练复杂坐标,却让长卷阅读更稳定。近处关系被自然保留,远处依赖只有在确实相关时才浮上来。
企业长上下文任务里,这种做法能帮助机器外推到比训练时更长的序列,同时控制注意力分布。它不是完整记忆系统,却是长序列处理的朴素工程杠杆。
驿丞改了规矩:离当前批注越远的旧话,信使要多付一点脚程费;近处线索先看,远处线索除非重要才请出来。起初有人担心会漏掉远处的伏笔。驿丞便给长信加了红绳索引,真正关键的远处约定仍能被拉回桌上,只是不再随便挤走眼前的条件。
这次小事故让众人停下来复盘。他们没有急着换一套更响亮的说法,而是把出错的入口、被误解的规则和需要保留的边界逐一写清。
几封复杂商约处理下来,信使终于不被百页外的闲话牵着跑,也不必把长信砍短。距离开始成为秩序的一部分。驿丞最后说,长路不是不能走,但系统应当知道远近。没有距离偏置,长上下文会把所有线索摊成同样的噪声。