CHI 2026 PoliSim workshop · UC Berkeley · 规范研究 / position paper

用仿真做政策,先立三条硬规矩

Steven Luo, Saanvi Arora, Carlos Guirado · PoliSim@CHI 2026 (workshop paper) · 2026 · arXiv: 2604.07838
原题:We Need Strong Preconditions For Using Simulations In Policy
AI·医学·科技伦理 公共管理与公共政策 Open Access 新颖度 0.66

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

想象一下:政府要决定怎么安置一批移民、怎么设计救灾方案,于是请人做了一个“虚拟社会”——让几千个 AI 扮演市民,跑一遍政策看看会发生什么。这听起来很高效,也很科幻。

但这类社会尺度的大模型智能体仿真有两个根本麻烦。第一是双重用途:同一个能模拟人群逃生的模型,也能被用来算“怎么让攻击造成最大混乱”;同一个模拟移民反应的模型,也能被政客拿去设计“最高效的遣返策略”。第二是效度:你怎么知道这些 AI 演得像真人?如果演错了,决策者却当真了,伤害是实打实的。

作者担心的不是技术不够好,而是技术够好也可能被用坏,用对了也可能算错,而这两件事目前都没有任何制度约束。

② 研究问题(要回答什么?)

这篇论文问的不是“仿真准不准”,而是更根本的问题:在什么条件下,社会仿真才有资格进入那些会影响真实人生的政策决策?

作者把它拆成三个子问题:

这三个问题对应三条“前置条件”(preconditions)——注意是前置,不是事后补救。

③ 研究方法(怎么做的?)

这是一篇规范性论文(position paper),不跑实验、不做统计,方法上是“论证 + 制度设计”。作者做了四件事:

一是梳理风险。把社会仿真的危害分成两条路径:被恶意使用(双重用途),和善意但算错(效度失败)。两条路径互相独立,所以治理必须同时管住。

二是拆解效度难题。他们指出传统机器学习的“预测准确率”在这里失效——因为反事实(如果当时不这么做会怎样)在现实中根本观察不到,没有标准答案可比。

三是引入既有理论资源。包括代表性伤害与分配性伤害的区分、参与式设计中“主体 vs 参与者”的区分、以及美国法中平等保护与差别性影响(disparate impact)的救济路径。

四是提出制度工具。借用模型卡(model card)、数据表(datasheet)的思路,呼吁开发者发布仿真开发与部署报告。

④ 结果(发现了什么?)

论文的核心产出是三条前置条件,以及每一条对应的具体做法。

条件一
别把弱势群体的仿真当中立技术结论。必须用社群自报经验做验证,必须披露模型覆盖不到的异质性。
条件二
别撇开被仿真的人。参与必须是“构成性”的(能改场景、改指标、改假设),不是“咨询性”的(只在结果出来后提意见)。
条件三
别做没人负责的仿真。决策链要可追溯,验证要独立,受影响者要有正式的申诉渠道。

作者还特别指出一个不可逆的机制:仿真结果一旦写进政策记录,就会获得“技术中立”的合法性,变成后续决策的基线;以后再想纠正,成本极高。这就是为什么必须“前置”而不是“事后评估”。

在可行性上,作者判断这类工具进入政策会很慢:美国民调里只有 26% 的选民对 AI 持正面看法;政治家又特别在意决策的可追溯性。但慢也意味着现在是立规矩的窗口期。

⑤ 讨论(这些发现说明什么?)

作者认为,这三条不是要给技术踩刹车,而是给技术装护栏。没有护栏,一次公开的失败就可能重创整个领域的公信力——他们拿三里岛核事故做类比:一次事故让公众对核电的反对持续了几十年。

更深一层的担忧是关于民主审议。政策问题本质上是价值问题:资源该给谁、代价该由谁承担。仿真进入决策流程后,很容易把这些价值问题“翻译”成技术问题,把决定权从民选官员和公共讨论,悄悄转移到建模团队和委托方手里。

作者也承认现实的复杂性:完全不用仿真也不现实,它能帮决策者看到盲点。所以他们的立场是“有条件地用”,而不是“不用”。

⑥ 结论(最终结论 + 启示)

结论很直接:社会尺度的大模型仿真,其合法性不能只建立在技术新奇上。在它能影响重大决策之前,必须先满足三条前置条件——不把弱势群体当中立样本、不撇开当事人、不留问责真空。

配套的制度工具是“仿真开发与部署报告”:谁建的、怎么建的、谁参与了、怎么验证的、谁该解读、用在了哪里、出过什么错。而且要持续更新,不是发一次就完事。

对政策制定者的启示:把仿真当“顾问”,别当“裁判”;对开发者的启示:主动设边界,别等出事再被监管。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

LLM 智能体仿真(LLM agent simulation)正从学术实验走向政策场景:交通、公共卫生、经济、移民安置等领域都出现了“先跑一遍虚拟社会”的倡议。与之相伴的是两条被低估的风险线:双重用途(dual-use)与效度(validity)。前者意味着高保真的人群行为模型可以被反向用于操纵与社会控制;后者意味着即便动机良善,未经充分验证的仿真也可能误导决策者。

既有治理讨论多以“透明度”“可解释性”为核心,但本文主张这两个概念不足以覆盖仿真特有的危害结构:仿真的危害往往不来自模型输出本身,而来自输出进入政策记录后所获得的制度权威。因此治理对象应是“仿真被允许影响决策的条件”,而非技术本身。作者据此提出三条前置条件,并配套一项披露制度。

I. Theoretical Framework & Hypotheses(理论框架与假设)

维度核心区分理论资源治理含义
伤害类型代表性伤害 vs 分配性伤害算法公平 / 数字贫民院 / New Jim Code不是“补数据”能解决,需社群验证与异质性披露
参与程度主体(subject)vs 参与者(participant);咨询性 vs 构成性参与参与式设计 / 提取主义批判参与须能改场景、指标与行为假设
问责结构可追溯决策链 / 独立验证 / 救济渠道算法问责 / 平等保护与差别性影响三方(开发、委托、决策)责任须可归属

规范性立场接近程序正义 + 关系性问责:合法性的来源不是模型精度,而是受影响者能否参与、能否质疑、能否获得救济。作者引用 Ananny & Crawford 对“透明度理想”的批评,主张把问责嵌入委托、验证与使用的制度结构,而非仅披露信息。

M. Materials & Methods(材料与方法)

R. Results(结果)

前置条件失败模式最低要求
不把弱势群体仿真当中立输出歧视以技术外观进入政策记录并被固化为基线社群验证 + 参与式校准 + 异质性披露
不无参与地仿真提取主义;价值问题被技术化;认知不对称构成性参与(设计/验证/解释三阶段)
不无问责地仿真责任在开发、委托、决策三方之间耗散可追溯决策链 + 独立验证 + 正式救济

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((社会仿真的三条硬规矩))
    I 引言
      大模型扮演社会
      政策预演有诱惑
      双重用途加效度
    R 问题
      何种条件才配用
      弱势群体怎处理
      参与和问责怎落地
    M 方法
      规范性论证
      两组双用途情景
      效度标准失效
      借鉴模型卡制度
    R 结果
      不当中立输出
      不做无参与仿真
      不留问责真空
      发布开发部署报告
    a 讨论
      政策记录会固化权威
      价值问题被技术化
      三里岛式信任崩塌
    D 结论
      合法性非技术新奇
      顾问而非裁判
      窗口期先立规矩

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。