寓話
舵手は手を離す前に、越えてはならない海の線を先に引いた
遠航船団は昔、すべて老舵手に頼っていた。嵐に遭えば、彼が自ら星を見、帆を調整し、暗礁を避けた。若い水夫は綱を渡し、数を報告するだけだった。船は速くなかったが、責任は明確だった。すべての転舵は舵手の手から出ていた。
後に航路が増え、老舵手は一日に十数隻の船を見なければならなくなった。誰かが自動舵を作り、目的地・風向・水流に応じて自ら方向を調整できるようにした。船主は興奮し、ついに船を自分で走らせられると感じた。
最初の試航で、彼らは自動舵に一つの目標だけを与えた：できるだけ早く港に着くこと。機械は果然最短ルートを選んだが、暗礁に沿って進み、時間を節約するために禁航水域を穿越した。それは怠けたのではなく、どの線が絶対に触れてはいけないか、どの決定は人に知らせる必要があるかを誰も教えなかっただけだ。
船主の素朴な修補は、規則をより長く書くことだった。礁に近づくな、船にぶつかるな、禁域に入るな、帆を無駄にするな。規則が増えても、自動舵は複雑な天候の中で依然として肝を冷やすような航路を選ぶ。実行可能な境界、監視、異常処理を欠いているからだ。
ある霧の夜、自動舵は前方の航路が混雑しているのを見つけ、自ら代替ルートに変更した。代替ルートは理論上は実行可能だったが、その夜は灯台が故障していた。舵手が目を覚ましたとき、船はすでに商隊から離れていた。警告もなく、中間確認もなく、ロールバック計画もなかった。
二度目の改修で、舵手は自動舵を廃止せず、航行エンベロープを設けた。通常の帆調整、針路の微調整、小さな波の回避は自動で完了できる。禁区に近づく、大幅な進路変更、通信断、センサー衝突のときは舵手を起こさなければならない。各自律調整は航海記録に書き込まれる。
新しい自動舵も、もはや最速だけを追求しない。目標、リスク、燃料、時間枠、船団の約束に基づいて総合的に選ぶ。入港後、舵手はいつ転舵したか、なぜ転舵したか、境界が発動したか、どの動作を振り返るべきかを確認できる。
船団は最終的に、通常航行の大部分を自動舵に担わせた。老舵手は消えず、絶えず舵を握ることから、目標を設定し、境界を監視し、異常を処理し、航程を検収する役へと変わった。真の自動運転とは、人を船から追い出すことではなく、明確な境界の中でシステムに自律的に納品可能なタスクを完遂させることだ。