← 返回概念解读

Concept Fable精修版

AI 影响评估

AI Impact Assessment, AIIA · Governance

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

新桥开工前,城里先数会被改道的人

松山县准备启用一辆会按路牌自选路线的药车,替医馆把药送到各村。县令起初只问车会不会翻、马够不够快,工匠拍胸脯说试跑十趟都稳。

试运行第三日,药车避开泥路,绕过了最穷的河滩村;遇到外乡车牌,它误认成临时摊贩,拒绝靠近;给独居老人送药时,又把无人应门当作已送达。车没坏,伤害却已经发生。

县令先想加几条路牌,哪里不准绕、哪里必须停。可新路牌越写越多,仍有人被漏掉:夜里看不清牌的村、没有门铃的院、不会写申诉状的老人。

师爷于是把评估册改成活册。每条路线先列可能受影响的人,写明错送、漏送、迟送各会带来什么后果;再定人工接管、申诉、复查和停用条件。药车每月还要回报哪些村被绕开、哪些人反复申诉。

县令第一反应是让药车多试几圈。工匠照做,挑了宽路、晴天和有人接应的村子,结果仍然好看。河滩村的泥路、外乡人的车牌、独居老人的沉默,都没有进入试跑册。

一位乡医提醒他:药车经过哪里只是表面,更要问谁会因它受益,谁会因它被漏掉,错送一包药会怎样,谁能发现并叫停。县衙于是请村长、老人、药铺和车夫一起列出风险,再定申诉、人工送达和停用门槛。新桥开工前要看水势,新药车上路前也要先看会压到谁。

药车正式上路后,县衙仍每月请各村报一次漏送和误送。评估册不是开工时写给上级看的纸,而是让新器物在真实人群里持续承担责任的办法。

后来药车仍上路,但县里不再只问它准不准、快不快。新器物进入公共事务,必须先看它会把风险压到谁身上,错了谁能喊停,受害的人能不能被看见。

揭示

这个故事讲的是:AI 影响评估

AI Impact Assessment, AIIA 是在 AI 系统部署前和运行中系统评估其对个人、群体、业务、法律、隐私、安全、公平和社会影响的过程。企业 Agent 若参与审批、定价、招聘、客服赔付、风控等高影响流程,应评估受影响对象、潜在伤害、缓解措施、人工介入、申诉机制和持续监控。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 自动吊桥:影响真实权益的 AI 系统
  • 车牌识别和桥费:自动化分类与决策
  • 外乡车牌失败:数据偏差与错误后果
  • 测绘师评估:AI Impact Assessment
  • 急救兜底与申诉:缓解与救济措施
  • 持续监控:评估不是一次性文件

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

risk assessmentDPIAalgorithmic impact assessmentfundamental rights impact assessment

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。