← 概念解説に戻る

Concept Fable

高リスク AI システム

先に結論:High-Risk AI System とは、規制の枠組みにおいて、その用途が安全、基本的人権、または重要な機会に著しく影響するため、より厳格な義務の対象となる AI システムである。企業の Agent が採用、与信、保険、教育、医療、重要サービス、法執行、または重要な権限の配分に用いられる場合、通常はリスク管理、データ品質、文書化、ログ、透明性、人間による監督、安全性、適合性評価などの統制が必要となる。

高リスク AI システム · 規制

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

渡し船の定員を決められるそろばんが、赤い櫃に収められた

渡口鎮には分签銅櫃があり、申請者の住所、緊急度、過去の記録に応じて渡し船の枠を配分できた。当初は遊園船にのみ使われ、配分を間違えてもせいぜい一本後の便を待つだけで、観光客が少し文句を言う程度で済んでいた。

後に町は銅の櫃をより重い事柄に移した。災害後の帰郷枠、学館の入学、銭荘の小口融資、病人の川を渡っての通院。櫃は相変わらずあの櫃だが、一度の誤った署名が子どもを入学から遠ざけ、病人に時を誤らせ、貧しい家に春耕の金を借りられなくさせる。

町長は初め、銅櫃が正確かどうかだけを見ていた。ある洪水の後、西岸の村民が連続して帰郷証を受け取れず、調べると古い記録で彼らがよく「臨時居住者」と印されていた。銅櫃に悪意はなかったが、古い偏りを重要な決定に組み込んでいた。

新しい規則が公布された:生計、教育、救急、貸付、通行、公権力の処分に影響する銅櫃はすべて赤冊に入れる。赤冊に入った後は、用途、材料の出所、誤署名の結果、人手によるレビュー、異議申立ての経路、定期抜き取り検査を説明しなければならない。

第一版の赤冊は櫃の名前を登録するだけで、まだ不十分だった。同じ櫃が遊園船と救急渡船に使われれば、結果は全く異なる。老書記は具体的な用途と影響を受ける人々を登録し、器具の外見ではなく最も重い結果に応じて看守を配置するよう求めた。

遊園船の小さな誤りは事後に切符を補えば済むが、赤冊の事項は事後の謝罪だけに頼れない。高影響のシーンでは、速度は説明、監督、誤り訂正に道を譲らねばならない。材料が不足した場合、銅櫃は必ず止まって人を探して再確認し、速さのために運命の署名を気軽に発行してはならない。

町民は後に「この櫃は賢いか」と問わなくなり、まず「それが決める事はどれほど重いか」と問うた。同じ器具でも、暇な事に使えば便利であり、運命の関門に使えばより厳しい規則で守らなければならない。リスクの高低は、用途と結果から来る。

その後、町で新しい用途が生まれるたびに、赤帳簿会議を開き直すことになった。遊園船を手配するだけなら軽くてよいが、生計、救急、入学に関わるなら重く扱う。棚そのものはリスクの高さを教えてくれない。それに影響される人々が教えてくれる。

明らかにする

この物語が語るのは:高リスク AI システム

High-Risk AI System とは、規制の枠組みにおいて、その用途が安全、基本的人権、または重要な機会に著しく影響するため、より厳格な義務の対象となる AI システムである。企業の Agent が採用、与信、保険、教育、医療、重要サービス、法執行、または重要な権限の配分に用いられる場合、通常はリスク管理、データ品質、文書化、ログ、透明性、人間による監督、安全性、適合性評価などの統制が必要となる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 渡し船の定員の算盤:重要な機会に影響するAIシステム
  • 外郷人が排除された後:バイアスとデータ品質の問題
  • 赤い櫃:高リスクAIシステムの分類
  • より厳しい要件:高リスクのコンプライアンス義務
  • 船長はプロセスに戻る:有効な人的監督
  • 誤りの結果:高リスク判断の中核根拠

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

EU AI Actconformity assessmentrisk management systemhuman oversight

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号