寓話
図・声・文字がついに同じ座標で語り合う
製品サポート部の資料は四つの部屋に散らばっていた：文字マニュアル、故障スクリーンショット、電話録音、修理動画。各部屋にはそれぞれの管理者がいて、互いにほとんど話さなかった。顧客がエラーのスクリーンショットを送ってきたとき、文字検索装置全体はその中の数行の文字しか識別できなかった。同じエラーコードの文書は見つけたが、ある修理動画を見落とした。その動画では工匠が同じボタンを指して解決方法を説明していた。主管はまずすべての素材に説明を書くよう求めた。動画は要約に、画像は alt テキストに、録音は文字起こしに。これで検索はできるようになったが、多くの視覚的位置、音声の感情、操作順序が圧縮されてしまった。またある者は素材ごとに独立した索引を作った。画像は画像で、文字は文字で、音声は音声で検索する。問題は、顧客の質問がしばしばフォーマットをまたぐことだった。助手が必要とするのは同じ事柄の異なる証拠である。
後に、測絵チームは異なる素材のために共通座標を練習した。スクリーンショット、説明書の文、動画断片、録音断片が、同じ意味空間に置けるようになった。
ある現場修理の際、職人が設備のランプ表示の写真を一枚撮った。装置全体はランプ表示の説明だけでなく、音声作業指示と古い修理記録のページも見つけた。それらが共通の空間内で近くにあったからだ。
これはナレッジベースの境界を変えました。資料はもはや形式で隔てられず、問題、状態、意図によって互いに近づきます。助手は画像から文字を見つけることも、文字の問題から動画の証拠を見つけることもできます。
チームは一つの制限も学んだ。共通座標は整列と評価を経なければならない。もし図を見る匠が色だけを見て、文を読む匠が語頻だけを見れば、いわゆるクロスモーダルな近さは誤配になる。
最後に、サポート部は各原始素材を元の場所に残しつつ、互いに出会える座標を付与した。
共通座標も最初は笑い話を引き起こした。赤い警告灯の写真が赤い包装箱に誤って紐付けられ、緊急音声が通常の督促に誤って紐付けられた。チームはそこでペアサンプルを補い、異なる部屋の管理者が同じ事柄を一緒にラベリングするようにした。
後に顧客は雑音の多い録音を一段アップロードするだけで、装置全体が同類の故障動画と古いマニュアルページを見つけられるようになった。サポート部は理解した。部屋をまたぐ出会いとは、すべてを同じ種類の紙に変えることではなく、異なる材料を同じ問題の近くに立たせることだと。