← 返回概念解读

Concept Fable精修版

高风险 AI 系统

High-Risk AI System · Regulation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

能决定渡船名额的算盘,被放进了红柜子

渡口镇有一台分签铜柜,能按申请人的住处、急迫程度和过往记录分配渡船名额。起初它只用在游园船上,分错了最多多等一班,游客抱怨几句也就过去。

后来镇里把铜柜搬到更重的事上:灾后返乡名额、学馆入学、钱庄小额贷款、病人过河就医。柜子仍是那只柜子,可一次错签会让孩子错过入学,让病人误了时辰,让穷户借不到春耕钱。

镇长起初只看铜柜准不准。一次洪水后,西岸村民连续拿不到返乡签,查了才知旧记录里他们常被标成“临时住户”。铜柜没有恶意,却把旧偏差放进了关键决定。

新规矩出台:凡影响生计、教育、救急、借贷、通行和公权处置的铜柜,都要进红册。进红册后,必须说明用途、材料来源、错签后果、人工复核、申诉通道和定期抽查。

第一版红册只登记柜子名字,仍不够。同一只柜子用在游园船和急诊渡船上,后果完全不同。老书记要求登记具体用途和受影响人群,并按最重的后果安排看守,而不是按器具外形判断。

游园船小错可以事后补票,红册事项不能只靠事后道歉。高影响场景里,速度要让位给解释、监督和纠错。遇到材料不足,铜柜必须停下找人复核,不能为了快把命运签随手发出。

镇民后来不再问“这柜子聪不聪明”,先问“它决定的事有多重”。同样的器具,用在闲事上是便利,用在命运关口就要按更严的规矩看守。风险高低,来自用途和后果。

后来镇上每换一个新用途,都要重新开红册会议。若只是安排游园船,可以轻;若碰到生计、救急和入学,就要重。柜子本身不会告诉你风险有多高,受它影响的人会告诉你。

揭示

这个故事讲的是:高风险 AI 系统

High-Risk AI System 是在监管框架中因用途会显著影响安全、基本权利或重要机会而被纳入更严格义务的 AI 系统。企业 Agent 若用于招聘、信贷、保险、教育、医疗、关键服务、执法或重要权限分配,通常需要风险管理、数据质量、文档、日志、透明、人类监督、安全和合格评定等控制。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 渡船名额算盘:影响重要机会的 AI 系统
  • 外乡人被排后:偏差与数据质量问题
  • 红柜子:高风险 AI 系统分类
  • 更严要求:高风险合规义务
  • 船长回到流程:有效人工监督
  • 错误后果:判断高风险的核心依据

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

EU AI Actconformity assessmentrisk management systemhuman oversight

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。