寓言
画院里从给每个字画像升级到给整段话画像
镇上有一群画像师。最早的一批叫字画师,天天做一件事:给每个字定一组坐标。比如“河”字,不管出现在“黄河”还是“滑河”,在藏书馆所有书里统一用一组数字。坐标的来源是统计——这个字跟镇上所有书里其他字的相邻频率。“河”和“水”经常挨着,坐标就靠近;“河”和“桌子”极少同框,坐标就拉远。
后来镇上来了句画师。他不给一个字画像,而是看一整句话,给整句话定一组坐标。“黄河在城北拐了个弯”——句画师的画法一气呵成,把整句吞进去再吐出一组数字。这句和“大河从城北弯过去啦”坐标很近,虽然字面差了一大截。“黄河”和“淮河”在字画师那里因为都带个“河”字离得近,在句画师那里却隔得远,因为整句话里说的是完全不同的事。
教书先生做藏书馆的检索系统,先用了字画师的路线。搜索“夏季的雨水”,系统把“夏季”“的”“雨水”三张画像凑一块,去库里面找坐标最近的书。结果回来的是《冬季的雪花》——“冬季”和“夏季”坐标靠近,“雪花”和“雨水”坐标也靠近,“的”一模一样。先生摇头:字没找错,书找全错了。
换了句画师的方法,搜索“夏季的雨水”拿的是整句话的画像。靠近的不再是《冬季的雪花》,而是《江南梅雨季》和《六月雷阵雨防范指南》。先生高兴之余开始追问:一句话多长才刚好?太短退化成字画师的路线,太长画出来的坐标模糊一片。句画师的回答是一张自制标尺——话的长度要刚好包住一个完整的意思。
镇上后来涌进了更多画像师。有给照片画像的,有给声音波形画像的,有给一段代码画像的。字画师发现自己只是一个更大画院里的一个小工作室。所有画像师用的数学工具是一套——高维向量——但训练语料和优化目标完全不同。
藏书馆的检索系统后来挂了三种画像师:字画师做精确匹配,搜罕见术语不漏;句画师做语义搜索,搜概念能找到不同措辞的段落;图画的画像师管跨模态,拍一张插图就找到对应书页。
画院的学徒守则多了新条目:字画师是祖传手艺,从词的共现频率里推敲语义。句画师是父辈的发明,从上下文的上下文里推敲语义。图画师、音画师、码画师是孙辈,把画像从文字带到了所有能变成序列的东西上。同一套数学工具在不同粒度上展开,各自捕捉不同层级的相似性。