arXiv preprint · 哈佛肯尼迪学院团队 · 91 份示范法案 + 883 份 AGORA 文件 · 6 个商业大模型基准

评估治理提案的工具:大规模人工智能政策分析

Paulo Carvão, Isabel Adler, Claudio Mayrink Verdun 等 4 人 · arXiv preprint · 2026 · arXiv: 2607.28094
原题:An Instrument to Evaluate Governance Proposals: AI Policy Analysis at Scale
公共管理与公共政策 Open Access 新颖度 0.78

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

你有没有想过,一份人工智能法案动辄几十页,里面可能同时写着安全测试、产业补贴、隐私保护和出口限制。过去几年,美国联邦和州一级提出了成百上千份这样的法案,欧盟和英国也在不停出新规。

麻烦在于,法案一多,比较就难。有人说某份法案“太松”,有人说“太严”,吵到最后常常是在说不同的目标:有人最看重安全,有人最看重产业竞争力,有人最看重公民权利。公共讨论很容易缩成“支持创新”还是“支持监管”两派,中间那些具体取舍反而看不见。

已有的办法各有短板。专家写的政策分析很深,但一次只能看几份;纯统计方法能处理上千份文件,却说不清一份法案到底偏向哪个目标;直接让聊天机器人打分倒是快,可换个问法、换个模型,分数就变了,而且它凭什么给这个分,外人也看不见。

这篇论文想补上的,正是这样一张给不同方案打分的评分表:把评分项目、权重和假设都摊开写清楚,让任何人都能检查、质疑,甚至换一套自己的权重。

② 研究问题(要回答什么?)

这篇论文要回答的,不是“哪份法案更好”,而是一串更基础的问题。

换句话说,作者想造一把透明的尺子,而不是当裁判。

③ 研究方法(怎么做的?)

造这把尺子分了三步,像做菜先定菜单、再试味、最后请人盲评。

第一步,问人。研究团队访谈了 24 位人工智能政策专家,每人约半小时,全程录音并匿名。这些人里有 6 位在政府工作过,11 位在高校或智库,4 位来自企业,3 位是创业者。团队还发了一份 16 人的问卷。专家们说,直接问“这个权重该给多少”太抽象,于是改成逐条看评分细则:这条像不像你理解的那个领域?该加还是该删?

第二步,读文本。团队挑了 91 份“示范法案”,按属性分成反垄断 10 份、产业政策 28 份、国家安全 19 份、公民权利 14 份、安全 20 份,再加上 4 份欧盟文件、1 份英国文件和 1 份国际标准。每份切成长度 200 词、前后重叠 50 词的小块,一共得到 1,854 块。然后用三种由浅入深的文本分析:先看哪些词最有区分度,再看文章自然聚成哪些主题,最后用向量模型算每一块和评分细则的语义接近程度。

第三步,对表。团队把五个属性拆成 31 条评分细则,每条给一个权重,权重加起来是百分之百。再用另一批 883 份来自乔治城大学 AGORA 数据库的真实政策文件做外部检验,看这套尺子放到没见过的文件上还准不准。

最后,他们请 6 个商业大模型按同一张评分表给法案打分,再和“按评分表校准过”的模型对照。这就像让六个临时评委和一位按同一份评分手册培训过的评委同台,看谁的打分更稳。

④ 结果(发现了什么?)

结果里最反直觉的一句是:重叠不是毛病,重叠本身就是发现。

研究者原本担心,一份法案会同时踩中好几个属性。数据说,现实就是这样。20 份“安全”类示范法案,国家安全平均 54.7 分,安全平均 53.3 分;美国《国防授权法案》国家安全 60.21、安全 52.69。因为两边评分表都含“网络安全”,只是国家安全看威胁背景,安全看运行风险。

尺子本身站得住吗?在 91 份示范法案里,有 73 份(约 80%)得分最高的属性,正好就是它原本被归入的那一类。法案和评分细则的语义相似度大多落在 40 到 65 之间,很少贴近 0 或 100——说明真实法案本来就是“多目标拼盘”,不是非黑即白。

真正拉开差距的是大模型同台测评。以《欧盟数字市场法案》为例,校准模型给反垄断 50.31、产业政策 39.24;Gemini 3 Pro 直接给反垄断 100、产业政策 2.5。到了《国防授权法案》,校准模型的分数从 49.29 到 60.21,只差约 11 分;DeepSeek-V3.2 给国家安全 38.75,反垄断和公民权利直接清零。

Gemini 和 Grok 最爱“押注头条”,给《国防授权法案》国家安全 71.3,给科罗拉多州法案公民权利 87.5。GPT-5.2、Claude Sonnet 4.5 和 Kimi K2.5 的分摊更开,比如 GPT-5.2 在同一份国防法案上给安全 46.0,Claude 和 Kimi 都给了 43.75。

⑤ 讨论(这些发现说明什么?)

怎么解释这些差别?作者很克制:他们不说是“大模型不行”,而是说大模型和这把尺子被训练成了不同的习惯。商业模型面对一份长法案,倾向于抓住最响亮的标签——这是反垄断法,那就反垄断满分,别的靠边;至于这是训练数据、指令微调还是人类反馈造成的,本研究没法分辨。

校准模型的做法完全不同:它不重新训练语言模型,只是把法案切成小块,把 31 条评分细则也变成向量,算每一块和每条细则有多接近,再按权重加起来。它天然会“雨露均沾”,因为它逐条比对,而不是先给法案贴一个大标签。

但作者反复提醒:分数高不等于政策好。这套工具只回答“这份法案在多大程度上谈到了某个目标”,不回答“这个目标该不该追”“这条规定能不能落地”。一条只写口号、没有执法机制的条款,也可能因为用词贴近而得高分;反过来,真正有效但表述朴素的条款可能被低估。

更重要的是,工具里藏着三层价值判断:选哪五个属性、每条细则给多少权重、把重叠当优点还是缺点。作者不假装中立,而是把这些选择写进论文、公开代码和数据,请使用者自己判断“这套优先级和我的立场合不合”。他们借用“中立的胜任力”这个说法:中立不是没有价值观,而是把价值观说清楚,并且对每份法案一视同仁地用同一套标准。

⑥ 结论(最终结论 + 启示)

所以,这篇论文交出的不是一个“人工智能法案排行榜”,而是一套可以拆开、检查、重装的评分工具。它的价值在于把政策分析里那些平时藏起来的判断——看什么、怎么称重、如何呈现——摆到台面上。

对政策制定者和分析师,启示有三条。第一,想让 AI 帮忙看海量法案,最好用假设写得明明白白的专用流程,而不是直接问聊天机器人要一个总分。第二,商业大模型适合做探索、找线索、写初稿,不适合在高风险场合单独定分。第三,任何评分表都带着制表人的立场,使用者要先问“它重视什么”,再看分数。

作者也承认,这套尺子目前主要用美国的数据和视角做成,换到别的国家要重新校准;它量的是法律文本的语义相关性,不是执行效果,更不是政策优劣。下一步,他们希望把工具开放给更多人改写权重、增加属性,让比较本身变成一场公开的价值讨论,而不是一次黑箱裁决。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

人工智能治理研究在过去几年迅速膨胀,但政策分析工具面临三重错位:质性框架有深度却难以规模化;定量指标便于比较却掩盖取舍;计算文本方法能处理大语料,却停留在主题或情感的高层抽象,无法对应到专家定义的实质政策标准。与此同时,立法者面对数百份提案、相互矛盾的专家证词和碎片化的监管版图,缺少一套可复现、可比较、且对价值假设保持透明的评估流程。

本文提出一套面向人工智能治理提案的多属性政策分析框架与配套工具,材料以美国联邦与州级法案为主,辅以少量欧盟与英国经典立法。其贡献有三:(1)以经验材料为基础构建多维 rubric,使政策取舍显性化而不替使用者裁决;(2)提出专家访谈与计算文本分析相互校验的混合方法;(3)以经 rubric 校准的领域模型为基准,系统比较多个通用商业大模型的评分行为。

作者明确不评估政策的有效性或可欲性,只测量提案在各属性上的相关性与一致性;这一点既是框架的边界,也是其规范化设计的核心。与既有计算立法研究相比,本文不以文件相似度或条款谱系为终点,而以属性层面的语义对齐与 rubric 评分为分析单元。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文不检验因果假设,而是提供一个规范性分析架构:政策被理解为可同时服务多个目标(属性)的组合,评分只刻画文本与各属性 rubric 的语义对齐程度。属性取自作者前期研究识别的十类人工智能政策议题,出于范围控制选取五类;每类由 5–10 个评分细则构成,全框架共 31 条细则,组内权重之和为 100%。

属性评分细则与组内权重(%)条数
反垄断市场集中与支配 30;并购审查 20;执法能力 20;互操作与开放标准 15;数据获取与强制共享 10;排他行为与平台中立 56
安全与保障测试与评估 25;事件报告与透明 15;网络安全 15;人类监督与问责 15;举报人保护 10;第三方审计 10;人身与个体安全 107
国家安全国防与军事应用 20;关键基础设施保护 20;出口管制与技术主权 15;外国影响与间谍 15;网络防御与韧性 15;跨部门与国际协调 156
公民与人权消费者保护 20;隐私与数据权利 20;偏见与公平 20;可及性与包容 15;法律保护与正当程序 15;透明与可解释 106
产业政策(经济韧性)劳动力发展与就业质量 25;研发投资与激励 20;本土制造与供应链 20;基础设施与算力 15;能源与资源 10;全球竞争力 106

权重并非从数据机械推导,而是“观察到的立法强调程度 + 专家判断 + 主题分布校验”三者折中的结果。例如安全属性中“测试与评估”占 25%,而 BERTopic 显示测试与网络安全两类主题合计约占 30% 的主题质量,二者大致呼应;但“事件报告”主题质量仅约 0.07,最终仍给 15%,因为专家访谈强烈支持。作者以此说明:rubric 是规范化判断的产物,不是价值中立的测量。

框架的规范性体现在三层:属性选择(为何是这五类而非环境、劳工、国际合作)、权重分配(细微权重差异可能显著改变结论)、分析动作(把属性重叠视为信息、采用多维评分而非类别归属、测量法条语言而非执行结果)。作者借用 Weimer 的“中立的胜任力”概念,主张中立不等于无价值,而是价值透明加跨案例的一致应用。

M. Materials & Methods(材料与方法)

R. Results(结果)

案例rubric 校准模型商业大模型
欧盟数字市场法案反垄断 50.31;产业政策 39.24Gemini:100 与 2.5;Grok:100 与 0.0
国防授权法案人工智能条款国家安全 60.21;反垄断 49.29,跨度约 11 分Gemini 国家安全 71.3;DeepSeek 38.75 且反垄断、公民权利为 0;GPT-5.2 安全 46.0;Claude 与 Kimi 均 43.75
科罗拉多州人工智能法案公民与人权 5 条细则中 3 条高于 67Gemini 公民与人权 87.5,外溢极少

作者强调,校准模型并非“更正确”,而是在这一特定任务上与 rubric 结构更一致;商业模型未为该任务设计,其差异可能反映训练数据、指令微调与“对齐裁量”的共同作用。

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((AI治理提案评分工具))
    I 背景
      法案数量暴涨
      争论陷入二元
      缺少可比工具
    F 框架
      五个政策属性
      三十一条评分细则
      组内权重合计一百
      只评相关性
    M 方法
      二十四位专家访谈
      九十一条示范法案
      三层文本分析
      一千八百五十四个文本块
      六个商业模型对照
    R 结果
      七十三份主导属性吻合
      相似度多在四十到六十五
      大模型打分过度集中
      欧盟法案被拉满
    a 讨论
      重叠本身就是发现
      权重含价值判断
      大模型只宜探索
      美国数据与视角局限
    D 结论
      透明胜过虚假中立
      工具可复现可改造
      不判断政策好坏

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。