← 概念辨析に戻る

Concept Contrast Fable

AI 事故とセキュリティ事故の対応

先に結論:AI事故が語るのはモデル行動の問題である。有害な内容を出力する、誤った意思決定をする、差別的な結果を生む。安全インシデントが語るのはシステムが侵入される、データが漏洩する、権限が回避されることである。どちらの事故も深刻だが、引き金、検出方法、対応フローは異なる。

AI事故が語るのはモデル行動の問題である。有害な内容を出力する、誤った意思決定をする、差別的な結果を生む。安全インシデントが語るのはシステムが侵入される、データが漏洩する、権限が回避されることである。どちらの事故も深刻だが、引き金、検出方法、対応フローは異なる。

寓話

救急室の二つの警報

城東の医館は新たに診病銅鏡を掛け、城西の薬庫は常に泥棒が塀を越えるのを防いでいる。院判は一見似ている二つの事柄を管理している。一つは鏡が誤判定を出した後どう損切りするか、もう一つは薬庫がこじ開けられ薬方が盗まれた後どう追跡するか。新しい店員は面倒を嫌い、二冊の帳簿を一冊にまとめた。どうせどちらも成否に関係すると思ったからだ。

最初は誰も反対しなかった。両方とも「事故登録」と書かれ、夜番は盗難の規則に従って戸締まりと尋問をするだけだった。番頭はページ数が減ったのを見て、彼らが手間を省いたと褒めた。しかし繁忙期になると、古い帳簿は突然説明できなくなった。前の担当が終わらせなかったのか、後の担当が守らなかったのか、誰も答えられなかった。

彼らはまずより多くの印とスローガンを補い、各人にもっと詳しく書くよう求めた。結果、冊子は厚くなり、争いは増えた。事が起きたとき、誰もが自分をかばう一言を見つけられたが、どちらを先に救うべきかは誰も分からなかった。

老管事は皆を庭に呼び集め、実際の経過に沿って歩き直させた。目の前の動作に関心のあるものは第一冊に、後続の負担に関心のあるものは第二冊に入れた。二冊は互いに参照し合うが、もはや同じページに混ざることはない。

ある時、銅鏡が数人の病人を同じ薬へ導いた。薬庫は一味も失わなかったが、病人は危うく手遅れになるところだった。分けた後、多くの古い結論が変わった。忙しく見える仕事が実は厄介を防いでおらず、普段目立たない取り決めが災害時に全体を守っていた。

新人が再び混同しないよう、老管事は彼らにそれぞれ小さな案件を処理させた。二冊の帳簿がそれぞれ自分の問題に答えられ、かつ境界で互いに接続できたときだけ、その小さな案件は合格となる。もし誰かが依然として二つの事柄を一ページに書くなら、現場に戻って誰が先に動き、誰が最後に責任を負うかをもう一度見なければならない。はっきり見えないときは、一度多く問い合わせるほうがましで、曖昧な帳簿を一夜越しにしてはならない。本当に事故が起きる日には、一行の区別が欠けるだけで一隊の人が無駄に忙しくなるからだ。

院判は二つの経路の当直を分けた。盗賊事件ではまず門を封じて痕跡を調べ、誤診事件ではまず銅鏡の使用を停止し、病案を再確認し、影響を受けた人に通知する。後に新人が入ると、老管事はただ一言だけ覚えさせた。門の錠が壊れたら賊を追い、判断が人を傷つけたらまず人を救え。同じ事故と呼ばれても、対応の順序を混同してはならない。

AI事故

AI システムが運用中に引き起こす有害または予期しない動作。誤った出力、差別的な結果、モデルのハルシネーションによる誤導、AI システムの制御不能などを含む。その根本原因はモデルの動作問題であり、システムが外部から突破されたことではない。

セキュリティインシデント対応

情報システムのセキュリティインシデントに対する標準化された対応プロセス。侵入の検知、拡散の封じ込め、脅威の除去、システムの復旧、事後の原因追跡を含みます。対象は、サイバー攻撃、データ漏洩、権限の悪用など従来型のセキュリティインシデントです。

物語の対応

  • 全院警報システム:ネットワーク攻撃やシステム侵入を監視する従来のセキュリティ対応体系。
  • AI誤診レポートがアラートを発動しなかった:AI事故は従来の安全監視の範囲外である。
  • AI 事故対応チーム:AI システムの異常行動を専門に処理するチームとプロセス。
  • 悪意のあるプロンプトがトリアージミスを引き起こす:AI事故とセキュリティ事故の交差領域であり、合同対応が必要。
  • 合同演習:二つの対応体系には明確な境界、連動ルール、指揮の帰属が必要である。

プロジェクトに落とし込む

顧客に AI システムを提供するときは、安全質問票に AI 事故対応の欄を加える。明確に問うべきは、モデル出力の異常は誰が監視するのか。誤判定のロールバック機制は何か。影響を受けたユーザーにどう通知するのか。これらの答えは従来の安全緊急対応計画には出てこない。あなたの AI システムにまだ AI 事故対応プロセスがなければ、最初の誤りでチームは安全マニュアルを手に途方に暮れるだろう。

京ICP备2026014272号