← 概念辨析に戻る

Concept Contrast Fable

人間がループの中にいる場合とループの上にいる場合

先に結論:一つは人をフローの必经の路口に立たせ、すべての事柄がうなずいて初めて通ることを求める。一つは人を高みに立たせて見張らせ、システムが逸脱した時だけ手を伸ばして引き戻すことを求める。設計を間違えると、人はシステムのボトルネックになるか、システムは誰も見ていない時に静かに誤る。

一つは人をフローの必经の路口に立たせ、すべての事柄がうなずいて初めて通ることを求める。一つは人を高みに立たせて見張らせ、システムが逸脱した時だけ手を伸ばして引き戻すことを求める。設計を間違えると、人はシステムのボトルネックになるか、システムは誰も見ていない時に静かに誤る。

寓話

門を守る者と望楼の上の者

老孫の自動化車間には二つの人機協働モードがある。第一の生産ラインは「承認ライン」と呼ばれる。各製品は最初の工程から最後の工程まで、途中で三回の人手による検査を経る。検査員はコンベアの横に立ち、製品が通過するときに一瞥して判を押す。人手の判がなければ、製品は次の工程へ進めない。

第二の生産ラインは「監視ライン」と呼ばれる。製品は最初から最後まで自動で流れ、途中で誰も止めない。しかし工場の二階には展望室があり、その中に一人のオペレーターが座り、ライン全体の状態画面を見ている。温度、速度、合格率が設定範囲内であれば、オペレーターは何もしなくてよい。いずれかの指標が所定の範囲から外れると、画面に赤信号が点灯し、オペレーターが介入する——ラインを一時停止し、パラメータを調整し、あるいは異常バッチを抜き出して個別に検査する。

工場は大きな受注を受け、二つの生産ラインを同時に稼働させることになりました。一か月後、工場長は二つのラインのデータを比較しました。承認ラインの生産量は監視ラインの四割しかありませんでした。各工程で人の印鑑を待つ必要があり、人が休んだり、気が散ったり、列に並んだりする間、機械は待たなければならなかったからです。しかし承認ラインの不良率はほぼゼロでした。すべての製品が人の判断を経ていたのです。

監視ラインの生産量は高かったが、一つの問題が起きた:ある時、温度センサーが二度ずれ、正常な変動範囲内だったため、システムは警報を出さなかった。三時間連続で稼働した後、製品のある重要な寸法はすでに公差を超えていたが、バッチ全体が自動検査を通過した。調度員が気づいた時には、すでに一バッチ全体が廃品になっていた。調度員は認めた:三時間の間、彼は自ら製品を抜き取り検査することはなく、ずっと画面を見て赤信号が点灯するのを待っていた。

工場長は二つの生産ラインの経験を机の上に広げた。承認ラインの核心は、人が「よし」と言わねば通さないこと——人が各ステップの意思決定経路の中にいる、これがイン・ザ・ループ。監視ラインの核心は、人が各ステップに介入する必要はないが、定期的に巡回し異常時に引き継ぐこと——人がループの外の監督位置にいる、これがオン・ザ・ループ。

工場長は各シナリオに異なるモードを選んだ。安全、コンプライアンス、資金決定に関わる工程は承認ラインを通し、人をループ内に置く。日常運転で量が多くリスクが制御可能な工程は監視線を通し、人をループ上に置くが、调度員には一つの絶対規則を加えた。毎時間、生産ラインの現場へ行き無作為に一回抜き取り検査を行い、画面だけを見ていてはならない。

三か月後、工場の効率は上がり、品質も落ちなかった。工場長は一言にまとめた。人が承認する必要がある工程では、人を道の真ん中に置く。人が見守るだけでよい工程では、人を高い場所に置くが、定期的に降りて歩くことを忘れないように。

後に新しい生産ラインが立ち上がるたびに、まず一週間かけてどのノードに印鑑が必要か、どのノードは見張りだけでよいかを決めた。古い労働者はこれを「まず持ち場を定め、それから人を定める」と呼んだ。

ヒューマン・イン・ザ・ループ(HITL)

人が意思決定プロセスの内側にあり、システムの各重要操作は人が承認または確認しなければ続行できない。高リスクのコンプライアンス、安全、資金の意思決定場面に適する。

人間がループ上にいる (HOTL)

人間は監督層にあり、システムは自律的に運行するが、人間は継続的に監視し、異常時や報告が必要なときに関与する。バッチ処理、リアルタイム性要求が高くリスクが制御可能な場面に適する。

物語の対応

  • 承認ライン:HITL、各工程で人が承認印を押さないと通過できない。
  • 監視線:HOTL、自動実行、人は異常時のみ介入。
  • 承認ラインの生産量は監視ラインの四割のみ:HITLのスループットコスト、人が速度のボトルネックになる。
  • 温度偏移二度が発見されなかった。HOTL の監視盲点で、警報メカニズムに依存するが能動的な抜き取り検査を欠く。
  • 毎時現場抜き取り検査:HOTL の補完メカニズム——自動アラートだけに頼らず、能動的な巡回が必要。

プロジェクトに落とし込む

AI システムの設計における各ステップの重要判断では、まずリスク等級を示す。高リスクのノード(金銭、コンプライアンス、人身安全に関わる)は既定で HITL とし、人が意思決定の経路に入り、システムは人を飛び越えて直接実行してはならない。中低リスクのノード(一括分類、内容要約、定型的な返信)は HOTL でよいが、三つを必ず備える:明確なエスカレーション閾値、能動的なサンプリング検査の仕組み、そしていつでも人が手動で引き継げる設計。最悪の設計は、名目上は HOTL だがエスカレーションも巡回もないもの——それは実質的に人不在のループである。

京ICP备2026014272号