← 概念辨析に戻る

Concept Contrast Fable

AI リスク管理とモデルリスク管理

先に結論:一方は AI システム全体が導入された後に生じうる問題を管理し、もう一方はモデル自体の開発・検証・展開過程におけるリスクを管理する。二つの枠は大きさが異なり、ベンダーへの要求も異なる。

一方は AI システム全体が導入された後に生じうる問題を管理し、もう一方はモデル自体の開発・検証・展開過程におけるリスクを管理する。二つの枠は大きさが異なり、ベンダーへの要求も異なる。

寓話

二冊の安全台帳

老徐の車工房が、自ら方向を安定させる新车を作り上げた。引き渡しの前に、町の検車官が二冊の帳簿を差し出した。一冊は車の心臓を調べ、一冊は車両全体の路上走行を調べる。老徐はどちらも安全検査に見えたので、弟子に同じ答えの一式を書き写させた。

三日後、冊子は返却された。車心を検査した分はほぼ通過した:銅輪は雨天で滑らないか、操向杆は異なる勾配で偏らないか、試運転記録は重積載と空積載をカバーしているか。もう一方は赤丸で埋め尽くされていた。

車検官が追及したのは路上での一連の取り決めだった。誰が運転できるか、鍵は誰が保管するか、乗客名簿はどこに置くか、修理工場が行程を覗けないか、事故が起きたら誰が先に使用停止するか、夜間の車庫は誰が巡回するか。

老徐はそこで初めて、自分がずっとエンジンを車全体だと思っていたことに気づいた。エンジンをどれだけ調整しても、油管が漏れ、ドアに鍵がなく、御者が勝手に私的な仕事を引き受ければ、良い車は厄介ごとになる。

彼はまず二つの冊子を一つにまとめて重複を省こうとした。老いた車検官が止めた。一緒にすると漏れやすい。車体検査では材料、試験、偏差、故障の境界を見る。路上検査では人、道、鍵、帳簿、外注修理、事故対応を見る。

車坊はもう一度検証し直した。車心冊は各試走の性能と弱い路面状況を記録し、整車冊は受注、乗客輸送、会計、修理までの全チェーンを描いた。重複箇所は二重印で示し、誰が責任を持つかも明記した。

後に同業者が老徐に秘訣を尋ねた。老徐は2冊を指して言った:まず心臓が安定するかを見て、次に車全体が人を傷つけたり、帳簿を漏らしたり、制御不能になったりしないかを見る。前者は部品そのものを管理し、後者は部品が商売に組み込まれた後に生じるリスク全体を管理する。

老徐は後に弟子にこう語った。二冊には重なりがあるが、互いを飲み込んではならない。車心の失霊は車全体の事故を招き、車全体の管理混乱は車心の小さな偏差を増幅させる。別々に記録するのは、それぞれの問題が真の持ち主を見つけられるようにするためであり、一枚の大きな表の中で互いを覆い隠さないためだ。検車官も彼にこう注意した。車坊が商売に近づくほど第二冊は厚くなり、車心が複雑になるほど第一冊は省けなくなる。二冊を一緒に見て初めて、車は本当に道を走れる。後に振り返りの際、皆はこの経験を日々の規則に書き加えた。まず現場で何が本当に結果を変えたかを見て、それから何を残し、何を修繕し、何を制限すべきかを決める。表面的な賑わいだけを見れば、次も同じ場所でつまずく。

AI リスク管理

AI システムのライフサイクル全体をカバーするリスクガバナンスフレームワークであり、データガバナンス、モデルリスク、デプロイセキュリティ、第三者依存、ユーザープライバシー、コンプライアンス監査、運用規範を含みます。その範囲は単一モデルよりはるかに広いです。

モデルリスク管理 (MRM)

モデル開発、検証、展開、監視の過程におけるリスクに焦点を当て、訓練データの品質、モデルバイアス、過学習、解釈可能性、性能劣化を含む。これは AI リスク管理のサブセットである。

物語の対応

  • システムセキュリティ評価表:AI リスク管理、全チェーンをカバー。
  • モデルリスク評価表:モデルリスク管理(MRM)はモデル自体のみを対象とする。
  • ログのマスキング不足によりユーザーデータが露出:AI リスク管理の範囲に属し、モデルリスク評価では検出されない。
  • クロス対照表(チェックと丸):二つのフレームワークのカバレッジ関係図。
  • まずエンジンを見てから車両全体を見る:MRM が先、AI リスク管理が後。ただし AI リスク管理の範囲はより広い。

プロジェクトに落とし込む

ベンダーのセキュリティ質問票や内部監査では、まず MRM フレームワークでモデル自体の訓練、検証、バイアスを項目ごとに確認する。次に AI リスク管理フレームワークでチェーン全体を調べる——データ入口、API ゲートウェイ、ログ保存から運用権限まで。二つのフレームワークにはそれぞれ対応する国際標準がある(例えば MRM は SR 11-7 や OCC ガイドラインを参照し、AI リスク管理は NIST AI RMF や ISO 42001 を参照する)。同じ質問票の二つの言い方として扱ってはならない。

京ICP备2026014272号