← 概念辨析に戻る

Concept Contrast Fable

事故を管理する者とルールを定める者

先に結論:企業がAI体系を構築するとき、よく「セキュリティをやる人」と「コンプライアンスをやる人」のどちらを探すべきかと聞かれる。この二つの職能は似て聞こえるが、一方は問題が起きたときどう補救するかを管理し、もう一方はどう規則を定めて問題を少なくするかを管理する。方向を間違えると、チームは毎日火消しに追われるか、規則が厳しすぎて誰も守りたくなくなるかに気づく。

企業がAI体系を構築するとき、よく「セキュリティをやる人」と「コンプライアンスをやる人」のどちらを探すべきかと聞かれる。この二つの職能は似て聞こえるが、一方は問題が起きたときどう補救するかを管理し、もう一方はどう規則を定めて問題を少なくするかを管理する。方向を間違えると、チームは毎日火消しに追われるか、規則が厳しすぎて誰も守りたくなくなるかに気づく。

寓話

工事現場の安全員と監理

県城外に大きな工事現場があり、着工初日に事故が起きた。一人の作業員がヘルメットをかぶっておらず、落ちてきたレンガで頭を割った。社長は安全員の老周を招き、事故を減らすことを専門に任せた。老周は毎日現場を回り、ヘルメットをかぶっていない者を見れば止め、電線が露出していれば修理させ、足場が緩んでいれば作業を止めさせた。作業員は彼をうるさがったが、小さな事故は確かに減った。

しかし老周はすぐに気づいた。危険の中には施工計画に潜むものもあり、すべてを特定の作業員の不注意のせいにはできない。工期を急ぐあまり、社長は補強もされていない基礎の上に人を立たせて壁を積み続けさせた。老周は一度なら止められても、工期と予算を決めることはできない。

彼は火消しのように忙しい。今日は柱を補修し、明日はロープを交換し、明後日は負傷者に対応する。図面、調達、賞罰、検収が混乱したままであれば、火は必ず新しい場所から噴き出す。

後に店主は張監理を招いた。張監理は初日に労働者を叱らず、座って規則を定めた:基礎の深さ、鉄筋の量、足場の組み方、誰が突貫工事を承認できるか、事故をどう報告するか。

規矩が定まった後も、老周は現場を巡回していたが、もはや一人で全ての安全を背負わなかった。違反者がいれば、作業を止めて是正できる。新材料を見つければ、まず評価してから規範を改める。事故が起きても、どの制度がカバーしていなかったかを追える。

しかし工事現場が大きくなるほど、老周は自分では管理できないことに直面し始めた。購買は費用を節約するために薄い木板を買い、工期は祭りに間に合わせるために夜間休憩を圧縮し、新しく来た請負隊は訓練を受けていなかった。老周はヘルメットをかぶらない人を止められても、経理係が安全ロープの予算を削るのは止められなかった。

老板はさらに総管を一人招き、安全を着工規則、購買基準、請負契約、事故振り返り、停工権限に書き入れた。老周は依然として現場を巡回し、毎日湧き出るリスクを処理する。総管は工事全体が同じ責任と意思決定の仕組みで動くことを保証する。二人のうち一人だけなら、火消ししかできないか、壁の章程しかないかになる。

二人は時々まだ争う。老周は当面のリスクを見張り、張監理は長期的な秩序を管理する。社長はついに理解した、一人はリスクの識別と処理を担い、一人は規則、責任、監督構造の制定を担う;工事現場で事故を減らすには、両方の手が欠かせないと。

AI risk management

AIシステムに起こりうるリスクを識別、評価、対応し、問題が起きたときの処置を知る

AI governance

ルール、プロセス、審査メカニズムを策定し、制度面から AI システムの安全性と制御可能性を確保する

物語の対応

  • 安全員の老周 → risk management、現場のリスク識別と処理を担当
  • 監理の張親方 → governance、規則の制定と実行の監督を担当
  • 毎日後ろで火消しに追われる → risk management の受動的対応状態
  • 厚い一冊の施工規範 → governance の制度と規則
  • 新工芸が規範にない → governance の硬直化問題
  • 問題が起きてから急いで病院に運ぶ → リスクマネジメントの事後対応
  • 労働者が規定違反で罰金 → governance の抑止と制約

プロジェクトに落とし込む

あなたのチームが今、毎日さまざまな AI の問題——モデルの不調、データ漏洩、ユーザークレーム——に対処しているなら、必要なのは risk management の強化であり、まず緊急対応の仕組みを整えることだ。あなたの AI システムがまだ稼働していない、あるいは稼働したばかりで比較的安定しているが、長期的に信頼できる運用フレームワークが必要なら、governance がより優先される選択だ。理想的には両方を持つことだ:governance は規則の策定と審査を担い、risk management は実行中に問題が起きたときの処置を担う。

京ICP备2026014272号