arXiv 预印本 · cs.MA · 2026 · 港大政治与公共行政学系 / 理大应用社会科学系 · 含已发表工具代码审计

指标聚合分歧:多主体政策优化中的隐性效度威胁与契约式补救

Ruiyu Zhang, Lin Nie, Xin Zhao · arXiv 预印本(cs.MA),2606.29038v1 · 2026 · arXiv: 2606.29038
原题:Metric Aggregation Divergence: A Hidden Validity Threat in Agent-Based Policy Optimization and a Contractual Remedy
Open Access 新颖度 0.72

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

政府越来越常用电脑模拟来挑选政策,比如疫情来了什么时候启动防控、湖里每年能排放多少污染物,但模拟选出的“最佳方案”未必真的最好。

先说说这类研究是怎么做的。研究者先在电脑里搭一个“虚拟社会”:里面有许多会自己做决定的小角色(叫主体,这种方法叫基于主体的建模,英文缩写 ABM),让它们一天天地生活、传染、交易。然后请来一台“自动选秀机”——多目标进化算法。它像育种一样一代代“繁殖”出成百上千种政策方案,好的留下、差的淘汰,最后选出一个“冠军政策”,写进论文,交给决策者参考。

麻烦在于,这套流程通常分三个环节:选秀机训练、复赛打分、最后计算“这个冠军到底有多靠谱”的误差范围。三个环节的代码往往是不同的人、在不同时间写的。每个人都得回答同一个问题——“一次模拟跑完,这个政策到底得几分?”——可各自的写法可能不一样:有人取全程平均,有人只看最后一天,有人算最后十天的平均

这就像一场歌唱比赛:海选评委看平均分,复赛评委只听最后一句高音,决赛评委只看最后十秒。三位评委都很认真,选出的冠军却可能根本不是同一个人。更糟的是,每个环节单独检查都挑不出毛病,只有把三份结果摆在一起比才看得出问题,而平时没有审稿人会这么做。对依靠模拟证据做决策的公共部门来说,这是一个一直没人点破的隐患。

② 研究问题(要回答什么?)

这篇论文想弄清楚,同一个政策打分标准如果在模拟流程的不同环节被各写一遍、写法又不一样,会不会悄悄换掉最终推荐给决策者的政策。

作者给这个现象起了个名字,叫“指标聚合分歧”(简称 MAD)。“聚合”指的是把一整段模拟过程(每一天的数据)压缩成一个分数的那一步。围绕它,论文要回答四个问题。

说到底,这是一个关乎循证决策的问题:如果模拟得出的“证据”取决于程序员顺手写了哪种算法,它还能不能当作政策依据?

③ 研究方法(怎么做的?)

作者用了“先查案、再复刻、再做对照实验、最后重放真实案例”的办法,前后跑了十来组实验。

需要说明,论文没有报告这些模型里有多少个主体、每次模拟跑多少个时间步、用什么真实数据标定。它们是专门用来暴露流程漏洞的“实验小白鼠”,不是对某座真实城市的精确还原。

④ 结果(发现了什么?)

作者发现,这种“各算各的”漏洞在已发表的防疫政策工具里真实存在,复刻实验中将近三分之二的情况会因此选出不同的冠军政策。

① 真实代码里确实有三条路
EpidemiOptim 训练时,每个方案在带随机性的模拟里跑 30 次取平均成本;复评时让政策去掉随机探索、按确定方式执行;最后选冠军时,又用了一个训练中从没用过的“各项成本标准化后相加、取最小”的规则。三个环节,三种算法。
② 冠军换人,防疫时机跟着变
500 次复刻中,有 64.2% 的情况下第一环节和第三环节选出的冠军不一样(可信范围 59.9% 到 68.3%)。所有冠军都选了接近最大的防控力度,分歧在于什么时候启动:触发阈值平均差了 0.44 个百分点。换上统一打分函数后,分歧从 64.2% 降到 0
③ 选错的代价:更穷,也更不公平
在虚拟生态实验里,各算各的流程有 83% 的概率推荐错冠军;选错的政策平均福利低 2.19 个单位,衡量不平等的基尼系数高 0.050,而流程本身不会发出任何警报。在 249 个选错的案例里,还有 3 个连“这个政策是否显著好于基准”的统计结论都翻了。
④ 真凶是“量的不是一回事”,不是随机噪声
打分方法之间的差距,对选错率的影响是随机噪声的 4.1 倍,所以多跑几遍模拟没用。谢林模型里拿“走势形状(熵)”对比平均值,选错率高达 91.3%;财富交换模型 68.0%;狼吃羊模型只有 10.3%,因为它的数据走势几乎单调,怎么算排序都差不多。另一个“企业”场景里,两种打分排序几乎一致(相关系数 0.991),300 次实验一次都没选错,正好是理论预言的“安全区”。
⑤ 真实环境政策案例也翻了
湖泊问题存档里,原论文推荐方案在 1000 种可能的未来里,同时过“收益”和“可靠性”两道门槛的比例约四成(0.401),统一规则下的推荐方案约五成半(0.552)。在两者结论不同的 167 种未来里,统一规则赢了 159 种。原方案在 26.7% 的湖泊状态下把磷排放压在最低线,新方案只有 4.0%。

⑤ 讨论(这些发现说明什么?)

这项研究最重要的提醒是,模拟得出的政策建议可能在没有任何人犯错、也没有任何人作弊的情况下出错。

它和“挑数据”不一样。心理学的可重复性危机里,问题常出在研究者分析时有意无意挑选对自己有利的做法。指标聚合分歧不需要任何人做选择,只要几个人分头写代码、事先没约定打分公式,它就会自然发生。

为什么多跑几遍没用?因为问题出在尺子本身不同,而不是量得不够准。好比一把尺子量身高、一把量体重,量再多次也对不上。只有把尺子统一,问题才会消失。

什么时候最危险?数据走势“先升后降、忽高忽低”时最危险;走势一路向上或一路向下时比较安全。平均值和“走势形状”这对组合最危险,因为一个量“平均有多好”,一个量“波动成什么样”。

这种情况普遍吗?作者检查了 23 篇已发表的同类政策优化研究。在能看到代码的研究里,即便按最宽松的算法,估计也有约 56% 存在各算各的问题;在逐行核实过代码的样本里,比例升到 75%。作者也强调,这不代表所有文献都有问题。

放到公共管理里看:模拟结果常被当作“证据”带进政策讨论,比如何时封控、排污限额定多少、碳税怎么逐年加。决策者看到的只是一个冠军政策和一个漂亮的误差范围,看不到背后的三种算法。这篇论文把“证据要可审计”的要求,从数据和统计方法推进到了代码流程的接口。

也要看到局限:大部分实验用的是简化模型;防疫案例复刻的是流程结构,不是重跑原作者的推荐;湖泊案例是在同一批候选方案里重新挑选,而不是用新规则重新优化一遍。

⑥ 结论(最终结论 + 启示)

结论是,只要让模拟流程里的所有环节共用同一个打分函数,这种隐蔽的分歧就能从根上消失,而且几乎不增加计算成本。

作者把这个办法叫“指标契约”:在流程一开始就登记一个唯一的打分函数,优化器、复赛打分、误差计算都只能调用它,不许另写一套。它带来的额外运行时间约 3%;在多个进程并行选冠军时,它反而比各写各的快得多(8 个并行进程时快 134 倍)。作者还建议做一次“五分钟自检”:用统一函数把流程跑一遍,确认选出的冠军逐字节一致。

配套还有一张六项报告清单,建议今后的政策模拟论文写清楚:用了哪个打分函数;三个环节是否都调用了它;数据走势属于哪一类;不同打分方法之间的相关系数;自检结果;以及把共享函数放进复现材料。

给决策者和审稿人的启示:看到一个模拟推荐的“最优政策”时,不妨多问一句——“你们三个环节用的是同一把尺子吗?”不过,契约只能保证尺子统一,不能保证尺子本身选对了。量什么才真正代表公共利益,仍要靠研究者和决策者自己判断。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

议题源流:把基于主体的模型(ABM)与多目标进化算法(MOEA,以 NSGA-II 为代表)耦合的“政策搜索”工作流,已用于流行病防控(EpidemiOptim,JAIR 2021)、湖泊富营养化与水资源稳健管理(Ward et al. 2015;Hadka et al. 2015;Quinn, Reed & Keller 2017)、分散式电力市场碳税设计(Kell et al. 2020)等公共政策场景。Gilbert 等(2018,JASSS)指出,公共政策计算建模多作为决策支持工作流而非一次性预测模型使用,模拟、搜索、情景探索与优化后评估由不同组件拼装;深度不确定性决策(DMDU)文献更把这类场景界定为需要探索式工作流设计的“棘手的公共政策问题”(Kwakkel, Walker & Haasnoot 2016)。模块化带来便利,也在环节交接处制造了新的效度负担:同一个实质结果必须在整条流水线上保持为同一个计算指标

文献空白:可复现性改革议程(Simmons et al. 2011 的研究者自由度;Gelman & Loken 2014 的分叉路径花园;Kerr 1998 的 HARKing;Nosek et al. 2018 的预注册)聚焦于分析层面的选择。ABM 的验证与确认(Sargent 2013)、ODD 与 TRACE 文档协议(Grimm et al. 2006/2014/2020)及严谨性准则(Rand & Rust 2011)强调模型描述、可信验证与产物可追溯,却都没有把“跨环节指标一致性”列为必备要素。全局敏感性分析(Saltelli et al. 2008)扰动的是输入参数而非聚合约定,结构上探测不到此类问题;以经验基准检验冠军政策的结果层验证又依赖常常不可得的真值数据。

本研究贡献:(1)概念——把流水线架构认定为计算政策研究中此前未被命名的“未登记自由度”来源,提出指标聚合分歧(metric aggregation divergence,MAD);(2)实证——用受控实验、多 ABM 复现、对已发表工具 EpidemiOptim 的代码审查与忠实复刻,以及 Lake Problem DPS 存档推荐的重放,量化其政策后果;(3)实践——提出“指标契约”(metric contract),即在分派时强制所有环节共享的单一可调用对象,并配六项报告清单。三位作者分别来自香港大学政治与公共行政学系、香港理工大学应用社会科学系,全文以“计算政策研究”的效度为落点:当模拟推荐进入循证决策链条时,被推荐的冠军政策会不会只是流水线结构的产物。

I. Theoretical Framework & Hypotheses(理论框架与假设)

编号定义 / 命题对应理论
D1三段式流水线:Stage 1 优化器(NSGA-II 在 Nep 轮 × Nsc 个情景上运行 ABM,把逐轮轨迹聚合为标量适应度)→ Stage 2 锦标赛(常以更多轮次或不同情景复评帕累托前沿并选出冠军)→ Stage 3 推断(bootstrap 置信区间或假设检验)。每段都需一个映射 f: 轨迹空间 → ℝ,把 τ = (x₁, …, xT) 压成标量;常见选项为整轮均值、末步值 xT、75 分位数、归一化香农熵ABM 政策决策支持工作流(Gilbert et al. 2018;Kwakkel 2017)
D2MAD 定义:两环节的聚合器 f、g 在政策空间上诱导出冲突的序关系,即存在 π₁、π₂ 使 f(τπ₁) > f(τπ₂),而 g 给出相反排序;表现为冠军反转,并连带改变福利估计、政策推荐与推断结论序数测量;研究者自由度的“架构层”类比
P1效度双重受损:先破坏内部一致性(各环节对同一指标的操作化不同),进而损害外部效度(报告的冠军在任何单一操作化下都不是真正最优)Cook & Campbell 效度框架;ABM 实证验证(Windrum et al. 2007)
P2范围条件(须同时满足):① 聚合器对不可通约,即度量轨迹的不同潜在属性(如熵与均值);② 轨迹具有足够的时间结构(非单调、驼峰形或收敛形)。单调轨迹下所有标准聚合器保持同一序关系,MAD 不显现范围条件(scope condition)
P3机制:反转率由聚合器函数距离 δ = 1 − Spearman ρ(在政策空间上计算)驱动,而非随机噪声 τ;因此增加轮次或降低随机性无法缓解结构性误差与随机误差之分
P4补救:同一潜在构念须在每个测量点以相同方式操作化;在初始化时注册一个可调用对象并在所有环节共享,可“按构造”消除分歧操作化一致性(Borsboom 2005);契约式设计(Meyer 1997)、依赖注入

为什么熵最危险:熵刻画轨迹形状,即结果变量随时间变化的完整分布特征;均值与中位数刻画中心位置,末步值刻画终点。对需要在稳定性与峰值表现之间权衡的规制、生态与防疫干预,这些属性本质上不可通约。作者数据中熵与均值的 Spearman ρ = 0.37,均值与 75 分位数 ρ = 0.94;可通约对(均值、Q75、中位数)在各噪声水平下反转率都低,熵—均值对的反转率高且对噪声不敏感,印证其结构性来源。

理论定位:研究者自由度作用于分析选择(用哪种检验、哪些协变量、何时停止),前提是存在一个“本可另作选择”的决策点;MAD 作用于流水线架构(哪个环节用哪个聚合函数),只需不同的人或同一人在不同时间、在缺乏共享指标规范的情况下分头编写各环节,无需任何主观意图。作者据此把 MAD 定位为过程层面的威胁:结果层面的验证与确认在结构上无法察觉它,因为每个环节的输出都自洽,错误只在跨环节接口处可见。

M. Materials & Methods(材料与方法)

R. Results(结果)

实验设置关键结果结论
EA-7 谢林WoC-Entropy 对 WC91.3% 对 0%;Mann–Whitney p = 5.1×10−13;h = 2.54非单调,MAD 强
EA-7 玻尔兹曼熵聚合反转率 68.0%非单调,MAD 强
EA-7 狼—羊任意聚合器反转率 10.3%近单调,范围条件抑制
EA-11 SEIR 复刻Stage 1 对 Stage 3,n = 500冠军分歧 64.2% [59.9%, 68.3%];z = 40.40,p ≈ 0分歧显著
EA-11 加契约共享可调用对象分歧 0%;100/100 逐字节一致按构造消除
EA-1 政策翻转WoC,300 种子翻转 83% [78%, 87%];福利差 2.19 [2.01, 2.39];基尼差 0.050 [0.045, 0.055]更低福利且更不平等
EA-10b 推断审计249 个翻转种子3/249(1.2%,精确 95% CI [0.2%, 3.5%])跨越显著性边界推断结论也被改写
企业场景300 种子,末步与均值 ρ = 0.9910 次翻转可通约,预测的零结果
EA-11-C 并行W = 2、4、8跨 worker 冠军分歧 100% [96.3%, 100%]各用一套聚合器必然分裂
EA-12 三目标10 次运行分歧 25% [12.5%, 40.0%];熵反转 3.6% [3.5%, 3.7%]不限于双目标前沿
表述选择器(存档行号)收益可靠性联合稳健性
DPS论文路径(26)0.33261.00000.4010
DPS稳健联合即契约路径(43)0.49220.90050.5520
DPSΔ+0.1596−0.0995+0.1510
跨期论文路径(8)0.29171.00000.2470
跨期稳健联合即契约路径(38)0.38010.95830.3630
跨期Δ+0.0884−0.0417+0.1160

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((指标聚合分歧))
    I 引言
      模拟加进化算法选政策
      三个环节各写打分
      复现改革只盯分析
      架构层是新盲区
    R 问题
      已发表代码有无分歧
      冠军换人概率多大
      距离还是噪声驱动
      如何低成本根治
    M 方法
      有契约对照无契约
      三个经典ABM复现
      审查防疫工具代码
      SEIR复刻五百次
      生态模型三百种子
      湖泊问题存档重放
    R 结果
      冠军分歧约三分之二
      选错冠军八成三
      福利更低更不平等
      距离效应约为噪声四倍
      湖泊达标率明显提升
      用契约后分歧归零
    a 讨论
      无需恶意也会出错
      非单调轨迹才危险
      多跑几遍无济于事
      审计样本过半有分歧
      模型证据需接口审计
    D 结论
      共享单一打分函数
      运行开销约百分之三
      六项报告清单
      五分钟一致性自检
      只保结构不保语义

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。