SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

大语言模型和基座模型,一个住的是语言通道,一个啥都能睡

大语言模型是基座模型的一种具体实现——专为理解和生成文本而训练。基座模型是一个更大的概念,涵盖在各种大规模数据上预训练的通用模型,执行文本、图像、代码、蛋白质等多模态任务都可以成为其中一员。把 LLM 当成基座模型的全部,相当于把一条河当成全世界的全部水资源。

寓言

天枢阁有两类弟子,一类只通言语,另一类干啥都先练底子

天枢阁是朝廷培养智士的最高学府。智士分很多种:有专门通译各国文书和法典的「言语弟子」,有擅长解读舆图和水文的「图谱弟子」,还有能从残缺旧籍里推断原貌的「补缺弟子」。前三年所有人都要进一个共同的「底子堂」,在大规模典籍、舆图、历法数据上做通识训练。

底子堂的培养方式非常特别:它不针对具体的任务,不教言语也不教图谱。它只做一件事——让弟子们在庞杂无标签的原始材料上建立对世界的整体感知,让脑子里的连接密集、稳定、覆盖面广。这层底子打好后,弟子们再各自进入专业路径:言语弟子去学语法和写作,图谱弟子去学投影和地志。

镇院有一位老学正,最喜欢考新来的夫子一个问题:你眼前的这位言语弟子是一流的语言专家,但你如果要让他临时解一张舆图呢?夫子一般会说这个弟子没练过。老学正说对——他不是不会看图,是他被训练成以文本为世界通道。他的底子在底子堂打了三年通用层,专业路径只通了一条叫「语言」的路。

故事的关键转折在底子堂扩招了第三批。这批弟子里有人同时修言语和图谱,还有人在底子堂打好基础后去训练了「多通道感知」专业——能在文本、图像、气候变化数据之间切换。老学正在学册上给这批新弟子画了一个框,写着:基座是底子堂,后续走多远取决于你专业路径是单通道还是多通道。

某次朝堂派人来天枢阁,说要采购一批「言语弟子」帮六部翻译文档。采购单上只写了「智士(言语类)」四个字。后来户部也来问,要弟子既看账簿又能识图。阁里才知道采购描述太窄了——他们采购的是「言语弟子」而不是「底子堂出来的智士」,后者是大池子,可以培养各种能力。

老学正为此改了对外交流的用词,定了规矩:描述天枢阁输出的人才时,先写「底子堂通识训练加专业路径」,再写明通道类型。如果只需要处理文书,言语弟子就够;如果需要同时读文书、看舆图、辨水文,就得找底子堂出来后又走多通道训练的弟子。

阁里后来有个共识:不能把底子堂直接叫成言语弟子书院。底子堂是一种培养层级,言语弟子只是其中一个出口。一座底子堂能同时输出言语弟子、图谱弟子和补缺弟子;如果把底子堂的名字改窄了,其他出口就都被锁死了。

大语言模型

一种专注于理解和生成文本的大规模预训练模型。它是基座模型的一个子类,主要在文本数据上训练,处理语言任务。

基座模型

在大规模多源数据上预训练的通用模型,可以作为下游各种任务的基础。涵盖文本、视觉、代码、科学数据等多种模态,LLM是其中一种具体形态。

故事对应

  • 底子堂:基座模型——在大规模通用数据上的预训练基础层
  • 言语弟子:LLM——通过文本为世界通道的专业分支
  • 图谱弟子和其他:其他模态的基座模型——视觉模型、代码模型等
  • 底子堂三年通识训练:大规模预训练——建立通用的表示能力
  • 多通道感知弟子:多模态基座模型——在多个模态上训练的基座
  • 户部采购说太窄:用 LLM 这个词采购会限制对更多能力的预期
  • 老学正新规矩:先声明预训练基础再加通道类型——正确的命名方式

落到模型选型和能力评估

选模型时先搞清楚业务需要的是纯文本处理还是跨模态。如果只需要对话、翻译、摘要,LLM 就够了,不需要为多模态的基座模型付额外的算力成本。如果需要同时处理文本、图像或代码,直接找多模态基座模型的产品线。在内部技术文档和对外采购单上,把「基座模型」用作一个大类的名称,LLM 作为它的子类标签之一。不要在文档里把两者当同义词互换——那会让后续的人搞不清你买的到底是什么能力的模型。