← 概念解説に戻る

Concept Fable

AI事故

先に結論:AI Incident とは、AI システムが引き起こした、または引き起こしかけた危害、ポリシー違反、安全問題、コンプライアンス失敗、差別、データ漏洩、重大な運用中断のイベントである。企業は報告基準、分類、隔離、通知、証拠保全、根本原因分析、是正、振り返りの仕組みを定義し、near miss もガバナンスに含める必要がある。コードの欠陥を修正するだけでは不十分だ。

AI Incident · Operations/Risk

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

自動製粉所の事故後、町は誰がスイッチを押したかだけを問わなくなった

町の新しい製粉所は自分で穀物を集め、粉を挽き、帳簿をつけ、車を派して配達もする。早い時期は仕事が少なく、老師匠は毎日一回りして、穀倉、臼、車隊を一目見れば、間違いもその場で止められた。

後に三鎮の穀物がすべて届き、製粉所は昼夜を問わず回った。管事が最も得意としたのは速さだった。湿った穀物、乾いた穀物、急ぎの注文、掛け売りも同じ一つのチェーンに並べられ、客が催促する前に車は門口に着いた。

事故は雨上がりの早朝に起きた。湿った穀物が乾燥穀物として挽き臼に入り、粉は固まり、会計所はいつも通り印を押し、荷車隊はいつも通り積み出した。菓子屋で粉が酸っぱいと気づいた時には、悪い粉はすでに三軒の店に入り、町の看板も傷ついた。

管事はまず、過ちを犯した者を探そうとした。穀物係は木秤が合格を示したと言い、経理係は印と票が揃っていると言い、車夫は出荷札どおりに動いただけだと言った。誰もが鎖のほんの一部にしか触れておらず、なぜ悪い粉が最後まで通ってしまったのか、誰も説明できなかった。

誰かが製粉所を閉めようと提案した。町長は反対した。町全体が毎日それに頼って供給を受けており、閉鎖すればさらに多くの店が食糧を絶たれる。そこで彼らはまず不良ロットを封印し、出荷済みの品を回収し、影響を受ける店に知らせ、その日の湿度札、抜き取り検査票、放行印、伝令記録をすべて一つの箱に収めた。

振り返りの中で、問題は徐々に明らかになった。雨の後に木秤が緩み、抜き取り検査の担当者が臨時に倉門の修理に行き、経理係は印と票だけを見て米の見本を見ず、警鈴は一度鳴ったが小さな不具合として片付けられた。単独ではどれも致命的ではないが、連なると不良粉を門の外へ送り出してしまった。

是正は、今後二度と事故が起きないことを約束するものではなかった。製粉所は、危うく事故になりかけた小さなミスを記録するように変え、潮を含む穀物が基準を超えたら必ず再確認し、警鈴が二度未処理なら管理職へ上げ、車隊は毎月、荷の追回訓練を行った。町長はこれ以降、製粉所の事故を一つの業務チェーンの損害として管理した。まず損切りし、次に検証し、次に規則を直し、最後に教訓を次の出荷前に残す。彼らはまた、危うく流出しかけたロットを訓練帳に書き、各職位が損切り、検証、復旧の中でどの部分を担うべきかを知るようにした。悪い知らせが街に伝わってから互いに問いただすのを待つのではなく。

明らかにする

この物語が語るのは:AI 事故

AI Incident とは、AI システムが引き起こした、または引き起こしかけた危害、ポリシー違反、安全問題、コンプライアンス失敗、差別、データ漏洩、重大な運用中断のイベントである。企業は報告基準、分類、隔離、通知、証拠保全、根本原因分析、是正、振り返りの仕組みを定義し、near miss もガバナンスに含める必要がある。コードの欠陥を修正するだけでは不十分だ。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 自動ミル:本番環境における AI/Agent システム
  • 潮糧の誤判定:モデルまたはセンサーの判断失敗
  • 不良粉が顧客へ流れる:AI の誤りが実際の業務影響を生む
  • 犯人を一人探す:システム的な事故連鎖を無視する
  • バッチの隔離とログの保存:incident response
  • センサ異常、閾値が低い、抜き取り検査のスキップ:多要因の根本原因
  • ヒヤリハット登録:near miss reporting
  • 発見可能・制御可能・学習可能:AI incident management の目標

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

incident management危害報告near missmodel failureaudit trail

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号