寓話
渡し場は、うなずくたびに自動で船を出すことをやめた
城門には改札所が設けられ、衛兵が切符の紋様を見て真偽を判断する。門番長は当初、心の中の確信度で業務を行っていた。顔見知りで道も熟知しており、規模が小さいうちはほとんど間違えなかった。門番長は気づいた。モデルが与える確信度スコアは結論そのものではない。それが校正を経て初めて、どのリクエストを自動で通してよいか判断できるのだ。
後に祝日で人が多くなり、何枚かの古い切符がひどく摩耗し、守衛は責任を負うのを恐れてすべて通した。客が増えると、曖昧な切符は同時に誤放行と誤阻止をもたらす；リスクに応じて閾値を設定しなければ、単一の「通過／拒否」ではコストを制御できない。
最初の修正は急ぎでした。その後、少しでも疑わしければすべて止める方式に変わり、城門には長い列ができました。疑わしければすべて止める方式は確かに見逃しを減らしましたが、誤って止めるコストと人手による待ち行列のコストを、すべての本当の客に押し付けました。しかし新たな問題が続きました。皆が最も目につきやすい場所だけを見るようになり、遠くの小さなずれが積み重なっていきました。
彼らは確信度と業務リスクで段階分けした。高スコアは自動処理、低スコアは拒否、中間領域は人間による再確認に回し、実際の結果で継続的に閾値を調整した。
門番長は衛兵に確信度で三档に分けさせた：非常に確実なものは通し、明らかに偽物は止め、中間は隣で再検証に回す。この手間は最初は工期を遅らせたが、数ラウンド後には手戻りが減り、師匠も気まぐれで規則を変えなくなった。衛兵はついに不確実性を分流し、自動化の速度と誤判定のコストは許容範囲に収まった。
しきい値の意味は、美しいスコアを追うことではなく、不確実性を実行可能な放行、再確認、降格、エスカレーションの経路に変えることである。
数日後、偽札は減り、本物の客も門の外で長く足止めされなくなった。それ以来、判断は答えを出すだけでなく、どの程度の確信があれば直接行動してよいかを知る必要がある。