寓話
多くの小さなスイッチがつながって一つの判断機になった
町の古い秤は一、二の条件でしか貨物を判断できない。重量がいくらを超えるか、色が合格か。単純な貨物には足りるが、複雑な貨物には足りない。
顧客は同時に、テクスチャ、産地、輸送温度、過去の苦情、契約等級を見ることを求め始めた。旧式の秤の各ルールは手作業で書く必要があり、書くほどに糸の塊のようになっていった。
エンジニアはまずさらに多くのつまみを加えた。各つまみは一つの条件に対応する。つまみが増えると、どう組み合わせるべきか誰もわからなくなり、ルールの保守は判断そのものより難しくなった。
一人の機械師が、多くの小さなスイッチで接続された機械を作った。各小さなスイッチはいくつかの信号を受け取り、重みと非線形変化を経て、結果を次の層へ伝える。
機械は最初、何もできない。訓練時には、誤りに応じて接続の強弱を少しずつ調整する。多くのサンプルを見た後、あるスイッチはテクスチャに反応し始め、あるものはリスクの組み合わせに反応し、さらに後の層がより高次の判断を形成する。
契約リスクの一次スクリーニングに初めて使われた時、機械は条項、金額、地域、顧客履歴、承認記録を総合し、法務レビューが必要となる確率を出力した。
法務主管は注意を促す。確率は判決ではない。ニューラルネットワークは複雑な信号からパターンを学習できるが、高リスクの結果は証拠、閾値、人による審査プロセスに戻れなければならない。
チームは訓練データ、特徴の出所、閾値の選択、稼働後のドリフトを記録し始めた。機械は孤立して賢いのではなく、監視可能なシステムに組み込まれた。町は最後にそれを判断機と呼んだ：すべてのスイッチが業務を理解しているからではなく、多くの単純なユニットが繋がり、複雑なマッピングを学習できるからだ。後に商人が機械師に尋ねた、どの小さなスイッチがリスクを理解しているのか指摘できるかと。機械師は首を振り、多層の接続がどのように一緒に変化するか、どの入力が結果に最も影響するかしか示せなかった。そこで町は判断機に検収規則を設けた：神託として扱ってもいけないし、普通の秤として扱ってもいけない。それは多くの信号からマッピングを学ぶのが得意だが、重要な決定に使うほど、監視、再確認、退出手段が必要だ。後に判断機も誤りを犯し、稀な良品をリスク品と見なした。主管は機械を壊さず、サンプル、閾値、再確認プロセスを検査し、再調整した。学び取った判断も、制度の中に戻されなければならない。機械が有用であるほど、監視されなければならない。