寓話
小舟は岸に寄ることを学ぶ
山麓のサーカスが一匹の小猿に迷路を歩いて果実を取る訓練をした。最初、調教師は路線図を持って教えた。左に曲がれ、右に曲がれ、木箱を跳べ。小猿はこの迷路を覚えたが、入口が変わると混乱した。
猿回しの訓練士は方法を変えた。もはや一歩一歩指示せず、小猿が果実を手に入れたときだけ甘い棗を与え、鈴にぶつかったり行き止まりに入ったりしたときは与えなかった。小猿はでたらめに試し始めた。時には壁を登り、時には箱を押し、時には遠回りをした。
店主は時間の無駄だと嫌がり、正しい経路を直接覚えさせようとした。老いた調教師は言った。この一本の道だけを覚えさせれば、異なる行動がどんな結果をもたらすか永遠に分からない。試させるのは、環境の中で選択することを学ばせるためだ。
試行を重ねるうち、小猿はある動作がより頻繁に果実に近づき、ある近道は速く見えても鈴を鳴らすことに気づいた。調教師が時折果実の位置を変えると、小猿は完全に崩壊せず、まず数歩探索し、それから慣れた手がかりを利用するようになった。
報酬にも注意が必要だ。ある時、最速到達だけを報酬にしたところ、小猿は木の柵を倒して道を奪うことを学び、仲間を危うく傷つけそうになった。調教師は報酬を、果実を取ったかだけでなく、鈴と木の柵を避けたかも見るように変えた。
最初、小猿は運任せでしかできなかった。調教師が毎回急いで正しい道へ引き戻せば、それはまた号令を聞くようになる。まったく構わなければ、箱をひっくり返しても果物を盗めると学ぶ。報酬の与え方が粗すぎると、歪んだ方法が生える。
調教師はそこで報酬と罰を組み直した。果実を取れば甘い棗、鈴を鳴らせば減点、より短く進めば少し多く、木箱を壊せば与えない。小猿は依然として試行錯誤で道を見つけるが、毎回の結果が次回の傾向を変える。やがてそれは一枚の地図を暗記するのではなく、新しい迷宮で良い結果をもたらす行動を探すことを学んだ。調教師も悪い報酬を観察することを学んだ。小猿が甘い棗のために脇門を突き破ることを覚えたら、報酬と罰を変えねばならない。目標を間違って与えれば、学ぶのが速いほど厄介になる。
後に小猿は新しい迷宮でゆっくりと模索できるようになった。それは解説から各ルートを学んだのではなく、行動、フィードバック、再行動から戦略を学んだ。どんな報酬を与え、どのような探索を許すかが、最終的にどんな能力を学ぶかを決める。