SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

先读完再写的双模块架构和只看着上文往下写的单模块架构

编码器-解码器架构有两个部分:编码器把输入序列消化成一组成熟的内部表示,解码器再把这个内部表示展开成输出序列。纯解码器架构只有一个部分,每次生成下一个 token 只参考之前已经生成的 token 和最初的提示。前者先在内部建一个关于输入的全局理解再生成,后者边看边写、没有单独的消化步骤。两种架构都生成文本,但“理解输入的方式”完全不同,这决定了翻译和摘要更适合编码器-解码器,而自由对话更适合纯解码器。

寓言

译馆里的两种翻译流程:全文吞进肚子再吐出来,还是听一句翻一句

京城译馆有两班译员。甲班的人接活以后先把整篇文章从头到尾默读两遍,在脑子里画一张关系图——谁跟谁有仇、哪件事发生在前面、最后一段的结论跟前文的哪个证据挂钩。图全画完了,才开始落笔翻译。翻译时经常把后段的东西提前到开头来讲,因为原文的叙述顺序和译文的习惯不同,但意思不能走样。

乙班的风格完全不同。他们从头开始,读到第一句就翻第一句,翻完再看第二句。全程不看后文——反正后文还没翻出来,也不需要。“他走向那个叫伦敦的城市”这句话,乙班读到“城市”翻完就结束了。翻完之后继续读下一句,不会回头调整前面的措辞。

甲乙两班在翻译信件时表现差不多——一封信三百字,开头问好、中间说事、结尾落款,顺序天然对得上。但遇到一份会议纪要,差别就炸了。纪要是倒叙写的:先讲了第三天的表决结果,再回到第一天介绍背景。甲班读完三天的内容,翻成译文时把时间线理正了——第一天放在最前。乙班按原文顺序翻,第三天表决先出来,读者一头雾水:这人怎么还没开会就投票了?

又来了一份需要精简摘要的长公文。甲班先读完全文,抓住了核心——这是一份请款公文,核心理由是“粮仓漏水”。于是围绕漏水写了摘要。乙班从头开始一句一句翻成摘要,前两段都是关于衙门架构的介绍,乙班把这些当主要内容,翻到漏水那段已经没篇幅了。摘要成了机构介绍而不是请款理由。

但也有甲班吃亏的时候。一场实时对话转写——两个人在争吵,每句话都在反驳上一句。乙班听一句翻一句,反应快、不卡顿,对话流自然。甲班非要等对面说完一个回合、消化完了再翻,迟了三秒。争吵的节奏被打乱了,发言人以为翻译在犹豫。

译馆后来立了新规:书信和对话交给乙班,因为顺序本身就是内容的一部分,不需要重新组织。公文、纪要、论文交给甲班,因为输入需要被整体理解之后再输出,全篇的逻辑结构比单句的流畅更重要。

老提调在规章扉页写了一句话:差别不在翻得好不好,在于翻之前要不要对全文下一个总判断。甲班说不下判断就落笔叫赌博,乙班说等你下了判断对面客人都走了——各有各的坦荡。

编码器-解码器

由编码器和解码器两个模块组成的架构。编码器将整个输入序列处理为内部表示,解码器再基于这个全局表示逐步生成输出序列。典型代表是 T5 和 BART,擅长翻译、摘要等需要全局理解的任务。

纯解码器

仅包含解码器模块的架构,通过自注意力机制关注已生成的 token 和输入提示。每次预测下一个 token 时只依赖前文。代表是 GPT 系列,擅长自由文本生成和对话。

故事对应

  • 甲班先读全文再动笔:编码器-解码器,先全局理解再生成输出
  • 乙班读一句翻一句:纯解码器,自回归地逐 token 生成
  • 会议纪要倒叙的两种翻译:需要重新组织信息的任务暴露了乙班的局限
  • 公文摘要乙班抓错重点:输入跨段落依赖时全局理解是刚需
  • 实时对话甲班慢了三秒:需要低延迟流式响应时纯解码器更合适
  • 译馆新规分区任务:两种架构各有所长,任务类型决定架构选型

落到模型选型和任务匹配

需要深度理解输入并重新组织的任务——翻译、长文摘要、结构化信息抽取——编码器-解码器架构的全局编码能力能给出更连贯的结果。需要流畅生成和快速响应的任务——对话、创意写作、代码补全——纯解码器的自回归生成更自然。现实里大部分对话场景已经被纯解码器占据,但遇到需要“先想通再动笔”的业务场景,不要忘了 T5 和 BART 这些编码器-解码器模型在某些指标上仍然领先。选模型之前先判断输入是不是需要整体消化。