寓話
町はもう計算が正確かどうかだけを問わない
金台城には判断を下す銅機が多くあった。それらは融資の順序、倉庫の補充、苦情の優先度、巡回ルートを決めた。当初、皆はただ一つだけ問うた。銅機の計算は正確か。
数年後、銅機はますます増えた。城内の工匠によるものもあれば、外商によるものもあり、旧規則を改造したものもあった。それらが影響する金、時間、人はますます増えたが、共通の管理方法はなかった。
役人の素朴な修正は、各銅機に正確率の紙片を添付させることだった。紙片は専門的に見えるが、多くの問題を説明できない。データは古くなるのか、境界はどこか、誰がパラメータを変えられるか、誤ったら誰が責任を負うか、いつ必ず停止すべきか。
ある自動並べ替えが高リスク顧客を快速通路に並べてしまった。銅の機械は古いサンプルでは正確だったが、新しい業務では誤りを拡大した。担当部門はサプライヤーが保証したと言い、サプライヤーは使用場面が変わったと言い、監査員は独立した検証記録がないと言った。
城主はそこで機械リスク庁を設けた。それは銅の機械を造らず、業務のすべての決定を代行するわけでもなく、すべての重要な銅の機械が登録・分類・検証・監視・再審査され、明確な責任者と例外処理を持つことを定めた。リスク庁は問題を分解した。機械の目的は何か、前提は何か、誰を傷つけうるか、誤りがどれほどの損失を生むか、人間の監督はあるか、サプライヤー依存はどう管理するか、撤退計画は何か。
それ以来、高リスクの銅機は開発者の自己証明だけで稼働できなくなった。独立した検証、稼働承認、運用監視、定期再検査を経る必要がある。低リスクの銅機はプロセスが軽いが、無主で稼働させることもできない。業務部門は最初、敷居が一つ増えたと感じたが、後にこの敷居が顧客、規制当局、取締役会に対して、なぜ使えるのか、どこで使えないのか、問題が起きたらどう処理するのかを説明しやすくしてくれると気づいた。
城主は後に銅機帳を設けた。各銅機には用途、由来、影響範囲、責任者、再検査日、停止条件を登記し、人々の生計に影響するものほど厳しく審査した。職人たちは最初、面倒だと嫌がり、銅機は正確ならそれでいいと言った。しかしある古い銅機が新しい市場で小商人たちをすべて後回しにしたとき、正確の紙片は依然として立派だったが、苦情が役所に山積した。
以後、金台城は算術の成績だけを見なくなった。説明できるか、責任を追えるか、環境が変わったとき誰が再確認するかは、正確さと同じように一台の銅機が街に出られるかを決める。城主は最後に理解した。機械リスク管理とは、機械が業務に入るのを妨げることではなく、機械が真の責任を負うときに境界、証拠、退出の仕組みを持てるようにすることだと。