← 返回概念解读

Concept Fable精修版

张量并行

Tensor Parallelism · Distributed inference

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

巨磨盘被分给四个水轮同转

谷地有一座巨磨,磨盘大到一匹马拉不动。早年磨坊只磨小麦,用小磨盘就够了,水渠也简单。

后来城里要磨一种硬谷,必须用巨磨盘。单个水轮带不动,磨盘若留在一处,整座磨坊就停工。坊主先怪马不够强,又换了粗绳。绳子断了两次,水轮房也被拉歪,巨磨仍只动半圈。

坊主先把谷子分成四堆,交给四个小磨各自处理。可是硬谷需要同一套大磨纹路,小磨磨出来的粉粗细不一,无法合用。

他又让四个水轮轮流拉巨磨。每个水轮都累,磨盘却一停一顿,粉路也忽粗忽细。轮流拉的时候,每个水轮都以为轮到自己才该出力,上一段力量刚退,下一段还没接上,谷子在缝隙里被挤坏。

老机械匠把巨磨盘的齿圈分成四段,每个水轮负责一段力量。四段必须同时咬合、同步转动,最后在同一圈里合成完整碾压。

这要求水渠信号精准。任何一个水轮慢半拍,整盘都会抖。磨坊为此加了同步杆和回声铃,确保四段力道在同一刻对上。同步杆最初调得不好,四段齿圈互相抢力。老机械匠让每个水轮先空转对拍,再少量投谷,确认震动落在可控范围。

巨磨终于转起来。没有哪个水轮独自拥有整块磨盘,但每个水轮算好自己那一部分,合起来就是完整工作。坊主还学会计算切分代价。巨磨分得太少,单个水轮仍吃力;分得太碎,同步杆和回声铃会耗掉收益。切开大活之前,先要知道合起来的成本。后来巨磨接了夜间订单,水渠压力变化更大。磨坊在每段齿圈旁安排看守,发现哪段过热、哪段掉拍,立刻调水。共同完成的大活,既要切分,也要持续协调。

坊主明白,太大的工作不一定要塞进一台机关;可以把同一层力量切开,让多台机关共同完成。

揭示

这个故事讲的是:张量并行

张量并行是把单个权重矩阵或张量运算切分到多块 GPU 上。每块设备计算同一层的一部分,再通过通信把结果合并。

它能让单块 GPU 放不下或跑不动的超大模型跨设备运行,但会引入同步和通信开销。模型越大、设备越多,通信设计越关键。

隐喻映射

  • 巨磨盘:单层中巨大的权重矩阵或张量运算
  • 四个水轮:多块 GPU
  • 齿圈分成四段:把同一层计算切分到不同设备
  • 同步杆和回声铃:跨 GPU 通信与同步
  • 四个小磨各磨各的失败:简单数据拆分无法解决模型层太大的问题
  • 完整碾压:合并 partial results 得到层输出

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

pipeline parallelismmodel parallelismdistributed inferenceMegatron