寓話
同一貨物の図牌と名牌
港の倉庫は毎日二つのものを受け取る：貨物の画像と文字の名札。昔は画像師は描くだけ、文書係は書くだけ、二つの帳簿は別々に置かれ、荷物を探す時によく合わなかった。
倉庫が大きくなると、客は写真を持って注文を探したり、一文の説明で画像を探したりする。古い帳簿はそれぞれ別々にしか調べられず、帳簿をまたぐ検索は遅くて誤りが多い。ある客が「雨の夜の青いテント」を持って商品を探しに来たとき、文字の帳簿にはこの文がなく、画像の帳簿にも「雨の夜」という欄がなく、倉庫は半日探し回った。
主管はまず文書係に各図に数行の説明を追加させた。説明は長くなるばかりで、新しい写真と新しい表現の間の類似関係は依然として解決できなかった。
二度目の修補は同義語表の構築だった。表はすぐに膨張し、見たことのない商品、角度、言語に遭遇すると、また人手による判断に戻った。主管はさらに、画師にすべての貨物を固定角度で描き直させることも試した。古い品は整理できても、新品、破損品、客が気軽に撮った写真は依然として一致しなかった。
後に倉庫は新人にペアリングゲームを訓練した。正しい図札と名札は近づけ、誤ったペアは遠ざける。新人は各商品を一字ずつ覚える必要はなく、画像と言語が共有する位置感覚を学ぶ必要がある。
しばらくして、客が「赤い防水バックパック」と言うと、倉庫は関連する画像を見つけられるようになった。客が画像をアップロードすると、近いテキスト記述も見つけられるようになった。
主管もまた、それが万能の識別器ではないと気づいた。ペア学習は画像と言葉の整合を強くするが、細かい計数、真偽判断、その後の処理には依然として追加の検証が必要である。しかし客が「この包みに縄は何本あるか」「商標は改ざんされているか」と尋ねると、倉庫は再び検品師に細かく調べさせる。共通の位置感覚は近いものを見つけるのに適しているが、すべての判断を代替するわけではない。倉庫は人手のカウンターも残している。類似のプロファイルは人が候補を素早く見つけるのを助けるが、実際に発送する前にはサイズ、在庫、禁輸マークを確認しなければならない。まず図と言葉を整合させ、その後の責任は責任を負うべき人に委ねる。
倉庫は最後に理解した。多種の材料の間の第一の門は、図と話を同じ比較可能な位置に立たせることである。