← 概念辨析に戻る

Concept Contrast Fable

Human-in-the-loop と承認フロー:一つはリアルタイムの軌道修正、もう一つは事前の署名

先に結論:Agent システムにはどこでも「人」を加えるが、どこに加え、何をさせるかは、方案の中でよく一言で流される。Human-in-the-loop は、モデルが動作する過程で重要な意思決定ノードを継続的に人に委ね、人がいつでも中断・修正できるようにするもの。承認フローは、モデルが結果を出した後、公開前に署名によるチェックを加えるもの。位置が違えば、コスト、遅延、リスクの窓もまったく異なる。

Agent システムにはどこでも「人」を加えるが、どこに加え、何をさせるかは、方案の中でよく一言で流される。Human-in-the-loop は、モデルが動作する過程で重要な意思決定ノードを継続的に人に委ね、人がいつでも中断・修正できるようにするもの。承認フローは、モデルが結果を出した後、公開前に署名によるチェックを加えるもの。位置が違えば、コスト、遅延、リスクの窓もまったく異なる。

寓話

印刷工場にある二種類の異なる校正方法

古い印刷工場は毎日大量の広告チラシを刷っていました。昔は組版師が一面全体を組み終えると、校正係に渡して最初から最後まで読ませ、読み終えたら署名し、それから機械で印刷を始めました。この流れは十数年使われ、皆、自然そうあるべきだと思っていました。遅くても仕方ない、間違えても最悪刷り直せばよい、と。

後に医薬品の説明書を一批受けた。誤れば事故になる。組版師は新しい方法を試すことを提案した。彼は重要内容——用量、禁忌、用法——を一段組み終えるごとに、その小さな段落を校正者の画面に送り、校正者がその場で確認または差し戻し修正する。組版と校正が交互に進み、版面全体を組み終えるときには、重要段落はすでに何度も確認されていた。

かえって印刷効率は上がった。以前は組版を終えてから校正し、見出しに誤字が見つかると、版面を崩して大半を組み直す必要があった。今は段落の段階で誤りが止められるので、植字工はすでに固まった版面をわざわざ崩さなくてよい。

新しい主管が就任すると、二つの方法は複雑すぎるとして「すべての文書は校正者の署名後にのみ印刷できる」に統一した。彼は医薬品説明書の段落ごとの校正を撤廃し、組版完了後の一括審査に置き換えた。その結果、第三週に事故が起きた。ある免責事項の文字サイズが二段階小さくなっていたが、組版の全工程で誰も照合せず、校正者がその行にたどり着いたときには版はすでに機械に入っていた。

事後の振り返りで、皆は二種類の署名の根本的な違いをようやく見抜いた。逐段校正は組版の過程に人の判断を埋め込み、組版師は一歩進むごとに止められる可能性がある——human in the loop。一括審査は組版工程がすべて終わった後に、校正者が最終稿を確認する——approval flow。後者は最終結果しか止められず、途中のステップにある潜在的な問題は止められない。

工場は後に二種類のフローを明確に分けた。高リスク物料は逐段交審とし、人は各ステップで停止を求められる。低リスク印刷物は整版終審とし、署名関門を一つだけ設ける。フローカードとシフト表には、各回の照合がどちらに属するかが明確に記されている。

最も意外な収穫はスケジュールデータだった。段落ごとの校正は工程が多いが、全体の完工時間はむしろ短くなった。誤りが生産過程で消され、全面組み直しが不要になるからだ。最終承認の署名は簡単に見えるが、下層に隠れた一つの誤りが納期を何日も乱すことがある。

ヒューマン・イン・ザ・ループ

モデルの実行中、重要な意思決定の節目を人間がリアルタイムで判断し、修正し、または中断し、人間のフィードバックがその後の出力に継続的に影響する。

承認フロー

モデルがすべての出力を完了した後、人が審査し署名確認して初めて公開または実行できる、事後的な管理ゲートである。

物語の対応

  • 段落ごとの組版を即時に校正者へ送る:human-in-the-loop、実行過程で継続的に審査に回す
  • 全面組み終わってから一度に署名:承認フロー、事後ゲート式審査
  • 新主管が最終審査に統一して事故が発生:二つのモードを混用し、高リスク場面で中間の遮断を失う
  • 二種類の物料に二種類のプロセス:リスク等級に応じて HITL か承認フローを選ぶ

Agent プロジェクトに落とし込む

Agent の人間と機械の協働を設計する際は、まず分類する。どのステップが途中で人間による停止を必要とし、どのステップが事後の署名だけで済むのか。途中での停止が必要なものは、インタラクション用インターフェースと中断プロトコルを設計する必要があり、コストは高いがリスクの窓は小さい。事後の署名だけで済むものは、出力が監査可能で追跡可能であることを確保する必要があり、コストは低いが中間ステップのリスクをすべて負うことになる。

京ICP备2026014272号