寓話
二つの書局、一つは関係図を描き、一つは図を集めて帳簿を付ける
県内には東と西に一軒ずつ書局があり、どちらもあらゆる資料を調べられると称していた。東局は人物関係と取引の往来を一枚の大きな図に描いて壁に掛け、資料を調べる時はまず図を探し、図に従って手がかりをたどった。西局は文字、絵画、帳簿をすべて同じ棚に収め、問い合わせが来ればまとめて検索した。
東局が初めて本領を発揮したのは、誰かが尋ねたときだった。去年王店主と取引のあったすべての商店は、その後どうなったか？東局の店主は関係図をたどり、十二の商店のその後の取引記録を追い出した。尋ねた人は非常に満足し、この図は本当に役立つと言った。
しかし東局にも調べられないものがあった。ある時、誰かが布地の模様を持ってきて、この文様に歴史記録があるかと尋ねた。東局は関係図を隅々まで調べたが、どのノードも文様に繋がっておらず、すべての記録は文字だった。この問題は東局で未解決となった。
西局が初めて実力を示したのは、誰かが挿絵付きの商品カタログを持ってきて性能パラメータを調べたときだった。西局は挿絵と文字を一緒に取り込み、図柄で検索すると対応するパラメータ表が直接見つかった。店主はこれこそ真のマルチモーダルだと言った。
しかし西局は自らの問題に直面した。ある商号の歴史を調べる際、文字記録の中の時間線と取引金額を串刺しにする必要があったが、西局が検索した結果は断片の山で、断片間の関係は構造化されておらず、人手でつなぎ合わせるしかなかった。店主は言った。「君たちはよく搜るが串がらない、つなげられない。」
二局は後に合同デモを行い、複雑なクエリが来た：ある布商人と関係のある商人の中に、特定の模様を使った人がいるか、その模様が歴史記録に最初に現れたのはどの王朝か。東局がまず商人関係を見つけ、西局が模様と王朝を検索し、両方を組み合わせて初めて答えられた。
デモが終わった後、誰かが二人の店主に尋ねた：あなたたち二人はどちらが優れているのか？二人とも自分の方向性は正しいと言い、問題は相手が解決する問題を自分では解決できないことだと言った。古くからの読者が横で言った：あなたたちが争っているのはどちらが優れているかではなく、あなたたちの読者が必要としているのは関係なのかマルチモーダルなのかだ——関係が必要ならあなたたちは図を描き続ければいい、マルチモーダルが必要ならあなたたちは図を集め続ければいい。しかし関係とマルチモーダルの両方が必要なクエリは、あなたたちどちらか一方だけでは受け止められない。