arXiv 预印本(cs.CY,交叉 cs.AI、cs.MA)· 24 页 3 图 8 表 · 投稿 Computer Law & Security Review,尚未录用 · 规范分析与架构设计论文,无实现、无实证评估

欧盟AI法案的智能体问责缺口

Talal Ashraf Butt, Muhammad Iqbal, Razi Iqbal · arXiv 预印本(cs.CY;投稿 Computer Law & Security Review) · 2026 · DOI: 10.48550/arXiv.2605.01091 · arXiv: 2605.01091
原题:Governing What the EU AI Act Excludes: Accountability for Autonomous AI Agents in Smart City Critical Infrastructure
Open Access 新颖度 0.62

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

城市里越来越多的决定交给了会自己拿主意的机器。红绿灯会根据车流自动调整放行时间,电网会在用电高峰自动削减部分线路,路口的摄像头会自动识别违章并生成罚单。单看每个系统,它们都在自己的权限内按规矩办事。麻烦出现在它们相遇的地方:电网为了保住供电,把信号灯当成可以暂时断电的负荷切掉;信号灯乱了,车流堵进居民区;摄像头又把堵车时的小违章拍了下来。被罚的居民想找人问清楚,却发现没有一个部门能说清整件事的来龙去脉,因为每个部门只看得见自己那一段。法律原本给居民留了一把钥匙,可以要求解释自动作出的决定,可这把钥匙在关键基础设施面前能不能用,正是这篇文章的起点。

② 研究问题(要回答什么?)

这篇文章要追问两个问题。第一,欧盟的人工智能法案本来给了居民一项权利,可以要求解释自动作出的决定,为什么这项权利在关键基础设施的智能系统面前会打折扣?第二,如果法律留下的缺口一时补不上,能不能用一套治理架构,把系统与系统之间的互动也管起来,让居民在跨部门的连锁反应里仍然找得到负责的人?作者把这两个问题放在智慧城市的场景里,因为那里正好是几种系统共用一条街、却分属不同部门的地方。论文还特别追问:数据保护法、网络安全规则、侵权责任这些替补选手,究竟能补到哪一步。

③ 研究方法(怎么做的?)

作者分三步回答这个问题,先读法条,再设计架构,最后做情景推演。第一步是逐条追查法案,看哪些义务在排除之后仍然保留,哪些居民救济被收窄,再看数据保护法、网络安全规则和侵权责任这三条替代路径各自能走多远。第二步是设计,把治理拆成三层:管单个系统的一层,管系统之间互动的一层,直接面对居民的一层,一共列出二十五项措施,每项都标注它对应哪条法律义务或哪套标准。第三步是推演,用迪拜十个已经公开的智慧城市系统做底稿,挑出交通、能源、监控三个系统,设想一个高温、地铁停运和变电站故障同时发生的下午,看这套架构会在什么时间点激活哪些措施。

④ 结果(发现了什么?)

研究结论可以分成法律与架构两半。法律这一半比较冷:法案把关键基础设施里的安全组件排除在解释权和权利影响评估之外,集中登记也改由各国自行安排,而数据保护法、网络安全规则和侵权责任这三条替代路径,都只能管到单个机构、单次决定,跨三个部门的因果链没有人负责重建。架构这一半是作者提出的方案:二十五项措施里有十二项落在管互动的那一层;治理强度按影响大小分五级,从只给建议到全城联动;五条冲突规则分别处理记录与最小化、删除与留存、多套评估重复、通报时限打架、透明与商业秘密之间的冲突。推演中,三个系统联动的场景激活了二十五项里的十二项、五条规则里的三条,约三十分钟识别出这是一场联合事件;而单个系统的电压异常只激活三项措施,约五分钟就能发现。

⑤ 讨论(这些发现说明什么?)

这个推演最刺眼的地方不是技术,而是分配。级联发生时,罚单集中开进阿尔库兹工业区这样的劳工聚居区,那里住着十二万八千人,而整个迪拜九成二是外籍居民。这些人本来最难走完跨部门的申诉流程,却最先承担了系统互动的后果。作者还指出,治理的难点不在事后追责,而在事前和事中:任何单个控制室都只看得到自己那一段,等季度会议开起来,九十分钟的级联早就结束了。所以框架把识别联合事件、跨部门联合监督、居民申诉这三件事都设成运行时的动作,而不是写在纸上的原则。作者也承认,架构只能让级联被看见、被记录、被追责,不能让它不发生。

⑥ 结论(最终结论 + 启示)

作者在结论里把话说得很克制,没有宣称这套架构能阻止级联。他们明确说,推演只证明了框架内部自洽,算不上外部验证,因为系统没有真正部署过,检测时间和协调成本都只是估计。真正要回答的问题留给了下一步:在一座城市里找一个部门、一条走廊做试点,看管互动的那些控制会不会把日常运行拖垮,看多语言的居民申诉渠道还能不能用得下去。作者给政策制定者的建议是先做两件不后悔的事:公开高影响市政系统的清单,以及建立跨部门的故障通报与升级协议。至于这套设计能不能推广到别的城市,作者认为要等比较研究来回答。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

欧盟《人工智能法案》把居民最能直接使用的问责工具,恰好从城市基础设施中最易跨部门联动的系统上撤走了。第 86 条第 1 款赋予受影响者就附件三所列高风险系统所作决定获得清晰、有意义解释的权利,但附件三第 2 点把关键数字基础设施、道路交通、水电气热供应中作为安全组件使用的系统排除在外;第 27 条第 1 款要求公共机构部署者开展基本权利影响评估,同样以第 2 点为例外;第 49 条的欧盟集中登记也收窄为各国自行登记。第 9–15 条的提供者与部署者义务仍然适用,缺口集中在居民可用的救济上。

作者给出三重限定。排除以第 3 条第 14 款的安全组件定义为界:能源调度与信号控制较易落入,监控更可能归入附件三第 5 点(执法),此时第 86、27 条不豁免;但即便监控可解释,也解释不了另外两个被排除系统如何共同制造了违章的条件。序言第 55 条假定部门法已提供等效保障,然而《电力市场指令》(EU) 2019/943、《关键实体韧性指令》(EU) 2022/2557 与《智能交通系统指令》2010/40/EU 只管运行连续性,不产生面向居民的解释权。

论文两项贡献:C1 识别这一复合收窄,并证明 GDPR 第 22 条、GDPR 透明度义务、侵权责任、NIS2 四条残余路径都被单个控制者、单次决定的结构所限;C2 提出 AgentGov-SC 三层架构与 R-01 至 R-25 共 25 项措施,做双向法规追溯。作者在 11 个维度上对比 MI9、UCF、GaaS、Shavit、SAGA 与新加坡 IMDA 框架,AgentGov-SC 在 9 个维度完全覆盖、在运行时执法与示例性治理轨迹 2 个维度仅部分覆盖,并自认优势来自整合而非单点创新。

I. Theoretical Framework & Hypotheses(理论框架与假设)

规范分析的核心是一个有义务、无救济的结构。作者先固定排除边界:第 3 条第 14 款要求组件失效会危及健康安全,序言第 55 条又要求该组件非系统运行所必需,因此信号优化是否算安全组件存在解释空间(没有 AI,信号灯照常工作),而电网稳定控制器无争议落入。随后逐条检验四条残余路径,见表。

残余路径法律依据能提供什么结构性边界
GDPR 第 22 条针对自动化决定的异议与人工干预可就单次决定要求人工介入只能向作出决定的控制者主张;该控制者接触不到其他系统日志;其他控制者无披露义务;有值守的控制室使完全自动化难以成立
GDPR 透明度与影响评估第 13(2)(f)、14(2)(g)、15(1)(h)、35 条告知自动化逻辑,开展数据保护影响评估影响评估按控制者各自完成,无跨控制者联合评估
侵权责任修订后《产品责任指令》(EU) 2024/2853严格责任扩至软件与 AI 产品,法院可命令披露技术文档事后诉讼、无事前结构化申诉;跨三系统因果举证成本高
NIS2第 21 条风险管理、24 小时预警网络安全风险管理与事件通报义务落在实体层面,不评估跨实体互动风险

判例与修法两条线同时收紧。欧盟法院 SCHUFA 案确认自动化信用评分构成第 22 条意义上的决定,2025 年 2 月的 Dun & Bradstreet Austria 判决进一步否定以含糊描述充抵关于逻辑的有意义信息,但两者都止步于单次决定。《人工智能责任指令》草案 COM(2022) 496 final 于 2025 年 2 月撤回,因果推定与证据披露机制随之消失,只剩产品责任指令在诉讼中事后救济。

时间表不改变缺口。2025 年 11 月的数字综合法案原拟把高风险义务与协调标准挂钩,理事会 2026 年 3 月 13 日总体思路与议会 3 月 26 日全会(569 对 45、23 票弃权)改回固定日期:独立附件三系统 2027 年 12 月 2 日、嵌入受监管产品的 AI 2028 年 8 月 2 日;4 月 28 日第二次三方会谈未达成一致。附件三第 2 点的排除是结构性的,任何延期都不消除它。

M. Materials & Methods(材料与方法)

AgentGov-SC 按干预能在哪一级被执行并被举证分层,而非按模型规模分层。Agent 层管单个系统的运行时边界(R-09 策略执行、R-10 漂移检测)与可辩护证据(R-19 隐私保护日志、R-20 与 R-23 再评估);Orchestration 层管互动拓扑(R-01)、传播风险(R-03)、跨机构监督(R-06)、跨供应商审计轨迹(R-07)与联合归因(R-24),承担 25 项中的 12 项;City 层面向居民,含申诉机制(R-04)、全市登记(R-13)、多供应商透明聚合(R-14)、参与程序(R-16)与集体公平监测(R-08)。25 项等于 5 项新措施加 12 项整合措施加 8 项实施措施,正文只列前 5 项。

编号措施补的缺口法律锚点层级
R-01系统之系统符合性评估无框架评估分属不同机构的自主系统之间的互动拓扑把第 43 条延伸至互动风险;借 STAMP 控制结构分析Orchestration
R-02跨框架冲突解决法案、ISO/IEC 42001、NIST RMF 的义务在运行时无人调和落地五条张力规则并生成证据Orchestration
R-03集体涌现影响评估第 9 条风险管理只到单个系统,无传播效应条款把第 9(2)(b) 条延伸至共同适配产生的二阶效应Orchestration
R-04民主申诉机制第 86 条排除附件三第 2 点,无跨机构申诉通道把城市治理文献的申诉概念做成可审计的跨界权利City
R-05多制度事件分诊NIS2 24 小时、GDPR 72 小时与法案通报时限冲突最严时钟并行通报,共享事件记录Orchestration

激活模型按社会影响而非技术能力定档:G1 建议、G2 辅助、G3 半自主、G4 关键基础设施自主、G5 城市级系统之系统;对应第 14 条的比例性监督姿态依次为人在指挥、人在环上、人越环监督、监督式越权与全社会监督。G3 与 G4 的界线用两问判定:是否在失效即危及人身或基本服务的设施内行使自主控制,运行范围是否产生跨组织依赖。作者承认分级是定性判断、依赖专业裁量,未提供可复现的量化评分工具。

五条冲突规则由 R-02 承载:T1 记录与最小化(法案记录义务对 GDPR 第 5(1)(c) 条)归 R-19;T2 删除与留存(第 17 条对 ISO/IEC 42001 文档)归 R-19 与 R-07 的分级留存;T3 评估增殖(FRIA、DPIA、ISMS、AIMS、RMF 重叠)归 R-12 统一方法;T4 通报时限(NIS2 24 小时、GDPR 72 小时、法案时限)归 R-05 最严时钟;T5 透明与商业秘密(法案透明义务对 TRIPS)归 R-14 分层披露。案例侧依三条公开证据标准给 10 个阿联酋系统定级,属定性编码,未做评分者间信度检验。

R. Results(结果)

阿联酋清单显示高自主系统已在运行、约束却没跟上:RTA 自适应信号系统覆盖约 300 个路口,迪拜警方 Oyoon 汇聚 30 多万路摄像头,DEWA 的 GTIC 在杰贝阿里对 9 台燃气轮机做强化学习燃烧优化,为公开资料中的最高自主等级;Rammas 处理 1270 万次咨询,阿布扎比 TAMM 服务 360 万用户,Falcon Eye 有 4.5 万多个传感器。10 个系统中 9 个只有自愿性治理,唯一具约束力的是自动驾驶项目(迪拜 2023 年第 9 号法授权 RTA 协调)。协调机构并不缺:RTA 与警方的交通事故管理联合单位覆盖 17 条走廊、951 公里,Oyoon 监督委员会汇集警方、DEWA、RTA、市政府等实体,2021 年第 34 号决议第 10 条要求政府实体配合,缺的是把授权延伸到实时互动。

走廊级联设在世贸中心至阿联酋购物中心的 E11:Agent T(RTA,G3)、Agent E(DEWA 需求响应,G4)、Agent S(Oyoon,G3)。触发条件是七月下旬 48°C、红线地铁检修把约 1.5 万通勤者压上走廊、南部变电站电缆故障同时发生。三阶段里,能源削减把信号灯当可中断负荷、交通重优化把拥堵挤进支路、监控把这些诱发的违章记为真实违章,90 分钟后没有任何系统报错。申诉一旦发生,第 86 条的排除让 3 个系统中的 2 个无法提供解释。

指标无 AgentGov-SC有 AgentGov-SC
激活措施012 / 25(48%)
级联识别各控制室只看自己那一段约 30 分钟,R-03 在 Orchestration 层关联跨域漂移
跨机构协调点03(R-06、R-24、R-12)
冲突规则03 / 5(T1、T3、T4)
问责链罚单无法追到多智能体成因R-04 连接完整因果链,R-24 重建归因

对照情景坐实比例性:DEWA 配网智能控制器夜间在单条馈线发现电压异常,仅 Agent 层三项措施(R-09、R-10、R-20)激活,约 5 分钟发现、15 分钟内人工复核;走廊情景则三层全开、12 项措施、3 条规则。作者反复声明这是结构性比较,检测时间来自运行特征估计而非实测。

a / D. Discussion & Conclusion(讨论与结论)

作者把缺口定位为相对的:不是没有义务,而是缺少与跨系统因果复杂度相称的救济。与 Kaminski 和 Malgieri 的教义学整合路线互补,后者扩大现行法的解释空间,前者补上解释到不了的地方;Hacker 对责任指令半心半意的批评因 2025 年 2 月撤回而被印证,R-04 与 R-24 正是要提供被撤回草案原本用因果推定提供的结构化证据通道。

局限写得坦率:框架未实现、未在运行轨迹上评估;检测延迟、协调开销、失效模式均未测量;分级由作者判定且未做信度检验;阿联酋材料为示例,AI 与 AI 的实时互动协议在公开记录中并不存在;框架自身不是参与式产物,却要求参与式治理,作者称这是尚未满足的合法性条件;采购不透明、安全优化与不歧视、透明度与漏洞信息保护这三组张力尚未形式化。

政策含义分两层。城市层面,两个低后悔动作是先公开高影响市政系统清单(R-13,兼容第 49 条下各国登记模式),再建立跨机构事件与升级协议;DIFC 第 10 号规则已要求自主处理系统提供与风险相称的保障和异议机制,可作先例;阿联酋联邦第 45 号法令第 2(2) 条把政府数据排除在个人数据法之外,反而提高了内部问责工具的权重。域外层面,法案依第 2 条只在投放欧盟市场、投入使用或输出在欧盟使用时适用,但欧盟供应商会把符合性要求随采购合同带到海湾城市,形成采购引力。作者据此主张这套架构对治理条件相近的城市同样适用,同时承认资助、编制与跨机构授权是另一类问题。

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((AI法案的问责缺口))
    I 引言
      解释权被附件三排除
      三个系统共用一条街
      单个系统假设失灵
    R 问题
      法律救济为何失灵
      四条替代路径够不够
      互动空间能否被治理
    M 方法
      逐条追踪法案条款
      三层架构二十五项
      五级激活与五条规则
      迪拜十系统定级
    R 结果
      四条路径都只管单点
      级联激活十二项措施
      三十分钟识别联合事件
      单系统仅三项五分钟
    a 讨论
      罚单压向劳工聚居区
      季度会议追不上九十分钟
      架构不阻止级联
      内部自洽非外部验证
    D 结论
      治理对象转向互动
      先公开系统清单
      建立跨部门通报协议
      等待城市试点检验

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。