寓話
鐘楼で誤った鐘の音を逆にたどる歯車
城の中心にある時計塔は毎日時を告げ、鐘の音が一度狂えば、町全体の開市もそれに合わせて乱れる。時計職人は当初、最後の大きな鐘だけに頼って仕事をしていた。顔なじみで道も熟知しており、規模が小さいうちはほとんど間違えなかった。時計職人は、文字盤が最後に何回遅れたかだけを記録しても、誤差がどの歯車から始まったのかは説明できないと理解した。改善するには、結果の責任を各層へと伝え返さなければならない。
後に新しい歯車がますます多く取り付けられ、一息の遅れや早まりが深部から時計面まで伝わる可能性があった。歯車の数が増えると、初期の偏差が多層の伝動を経て増幅される。末端の針だけを調整すると、根本原因を覆い隠す可能性があり、本来正常な部分も破壊する。
最初の修繕は慌ただしかった。大きな鐘をただ強く叩くか、時報の童子を替えるだけだった。鐘面を強く叩くだけでは誤差を一時的に覆い隠せても、内部の歯車のパラメータは変わっていない。しかし新たな不具合が次々と現れ、皆は最も目につきやすい場所ばかりを見て、遠くの小さなずれがますます深く積み重なっていった。
彼は損失から出発し、伝動チェーンに沿って逆方向に各歯車の誤差への寄与を計算し、勾配に従ってパラメータを微調整した；各層が学習に使える信号を得た。
彼は誤って鳴った瞬間から逆に調べ、各歯車がどれだけ押し過ぎ、どれだけ噛み足りないかを測り、重みに応じて微調整した。この工程は面倒で、当初は工期も遅らせた。しかし何度か繰り返すうちに手戻りが減り、親方も気分で規則を変えなくなった。徒弟は誤差を各層の歯車に配分して戻すことを学び、複雑な仕掛けは局所調整で少しずつ正確になっていった。
弟子はついに理解した。訓練とは最後に何を間違えたかだけを見るのではなく、誤差信号をそれを生み出した各層のパラメータへと伝え返すことなのだと。
徒弟は初めて、末端の誤った音は伝動経路に沿って逆に遡って分担すべきだと理解した。それ以来、複雑な機構を修理するとき、最後に音を出した場所だけを責めてはならない。