← 返回概念解读

Concept Fable精修版

视觉 Transformer

Vision Transformer, ViT · Architecture

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

把画切成棋格的鉴定所

画院要让学徒读大画。传统师傅先看线条和边角,从局部纹理一路推到整幅含义。对花鸟小画很灵,遇到人群长卷,常顾得了羽毛,顾不了全局。院长起初担心切画会破坏意境。新画师把一幅长卷摊开:若只盯局部笔触,远处军旗和近处逃散人群之间的关系反而看不见。

新来的画师把长卷切成等大的小方片,每片当作一个词牌。学徒先认识每片大概内容,再让所有小片互相对照:这片旗帜和那片城门相连,远处烟尘和近处奔马相呼应。第一次切片没有位置标记,学徒把河岸碎片当成山路,把远处城门接到近处马蹄后面,整幅画的空间乱了。

起初切片太粗,人物表情丢了;切片太细,又满桌碎纸,难以处理。画师反复试,找到适合的片幅,还给每片标上原来位置,免得小片忘了自己在画中哪里。片幅试验也吃过亏。太大的片像整段长句,难以互相比;太小的片又失去物体轮廓,只剩无意义的色块。

几轮之后,学徒不再只沿着笔触局部查看,而能把整幅画当成一串彼此关联的片段来读。

后来学徒读一幅战图,先看每片,再让旗帜、马队、城门和烟尘互相对照。远处小片影响近处判断,近处动作也会改写远处意义。

画院也没有废掉旧师傅的局部眼力。细纹、边角和笔触仍然重要,只是长卷需要更早看见远处关系。局部手艺和全局对照合在一起,读图才稳。

后来画院把切片读图用于新画,也用于旧卷修复。缺了一角时,学徒能靠周围片段和远处线索推断内容;但若原画太残,仍要承认看不清。互相注意能补线索,不能凭空造真相。

读图的路不止一种。把画切成片,再让片与片互相注意,能让长卷里的远近关系更早进入判断。

揭示

这个故事讲的是:视觉 Transformer

Vision Transformer(ViT)把图像切成 patch,并像处理 token 序列一样用 Transformer 建模图块之间的关系。它把自注意力引入视觉任务,适合分类、检索、检测等视觉理解基础。企业多模态 Agent 中,ViT 思路帮助系统处理截图、票据、质检图和界面视觉信息,但 patch 数量会显著影响计算和延迟。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 鉴定所:视觉模型系统
  • 画被切成棋格:image patches
  • 每个区域单独报告:局部处理缺少全局关系
  • 会看关系的大厅:Transformer 自注意力
  • 图块坐标:位置编码
  • 质检、OCR、图文理解:企业多模态应用
  • 最后洞察:视觉输入也能被序列化,但成本随图块数量上升

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

image encodertransformerVLMpatch embedding