寓話
人に成りすませるかどうかだけを問う試験場ではない
早年の機械試験場は簾越しに問答するだけだった。試験官が簾の後ろが人か機械か見分けられなければ、皆は拍手した。後に機械は挨拶が上手くなり、冗談も言え、ためらいも真似できた。しかし数学、常識推論、計画、学際的問題にぶつかると、空洞を露呈した。試験官はまず雑談問題を増やした。機械はより人らしくなり、点数も高くなったが、それでも実際のタスクを解決できることを証明できなかった。ある教師は試験場を多くの小部屋に変えた。論理の部屋、物理の部屋、言語の部屋、社会常識の部屋、創造の部屋。各部屋は一種の能力だけを測る。
機械はもはや口調を模倣して合格しない。未知の問題で推論し、知識を組み合わせ、選択を説明し、どの種類の問題で失敗するかを露呈しなければならない。
初年度の成績は見苦しかったが、研究者はついに異なる装置一式の能力プロファイルを比較できるようになり、人間に似ているかどうかだけを聞かずに済んだ。
後に誰かが、問題バンクが一度練習教材に流出すれば試験場も無効になると指摘した。そこで出題の出所、バージョン、汚染チェックがルールに書き込まれた。
この試験場の意義は機械に桂冠をかぶせることではなく、より広い能力リストで知能を見るよう皆に迫ることにある。
教師は言った。人間のように話すのは入口にすぎず、本当に測るべきはタスクをまたいで問題を解決できるかどうかだ。
ある小さな部屋は常識に反する問題だけを出す。木桶が漏れるときどこを先に補うか、隊商が馬を欠いたときどう経路を変えるか、帳簿が一頁欠けたとき損失をどう判断するか。機械が世間話しかできなければ、ここに来ると大言壮語しても計算が合わない。
試験場は後に、一つの総合点で全員を圧倒することを追求せず、能力地図を描くようになった。どの類の問題が安定し、どの類が虚ろで、どの類が言い換えられただけで倒れるか、研究者は見ることができる。教師は言った、広い試験場は誇口を難しくし、改善に方向を与えると。後に新しい受験者を迎えるたび、教師はまず問題庫が暗記されていないかを問い、試験が再び演技に後退しないようにした。問題自体が暗記されてしまえば、どんなに広い試験場も鋭さを失う。真の試験場は、空言に隠れ場所をなくさなければならない。これはそれが人間らしいかどうかを聞くより誠実である。そしてより不正が難しい。