大模型社会模拟中的蝴蝶效应：从架构敏感性到稳健性审计

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

基于大语言模型的社会模拟正在把 agent-based modeling（ABM）从“手工编码每条社会规则”推进到“用自然语言生成行为”。这类模拟已被用于合作与谈判、舆论动力学、社会规范涌现，并作为内容审核、平台设计与政策、公共卫生、流行病决策的试验台。随着其结论从“可能发生什么”转向“为什么会发生、何时会发生、应当怎么办”，验证（validation）问题被推到前台。

现有验证工作主要沿“像不像”展开：代理行为是否可信、宏观结果是否对齐经验模式、互动机制是否有理论依据、人类评审是否被说服。这些维度处理的是表征效度，但不等于稳健性。稳健性问的是：在同样合理的替代实现下，科学结论是否仍然成立，这与实证研究中的替代控制、替代操作化与敏感性分析同构。LLM 代理的特殊之处在于，提示词、人设格式、记忆编码、网络初始化与互动协议都可能改变单个代理的决策；在多代理系统中，这些局部差异会通过重复互动进入他人的观测与记忆，进而放大或衰减为宏观分歧，即蝴蝶效应。

本文的贡献有三。其一，构造两个互补的受控试验台——十轮重复囚徒困境（目标结构化）与百人十五轮社媒回音室（开放式）——在同一扰动下比较固定对手与 LLM–LLM 互动的敏感性。其二，给出可估计的敏感性量（带符号扰动效应、互动效应差 A），并证明互动既可能放大也可能衰减同一人设扰动，且方向随模型与对比而变化。其三，提出 TRAILS 分类法与 Social Simulation Audit Card，把扰动审计与科学主张的适用范围显式绑定。

I. Theoretical Framework & Hypotheses（理论框架与假设）

本文不设方向性假设，而以“扰动—敏感性—传播”的形式化框架组织。令 θ 为一次社会模拟的配置，ξ 为随机实现；受控扰动 p 只改变 θ 的一个组分，其余固定，得到 θ^(p)。对结果 Y，定义带符号扰动效应与敏感性幅度：

Δ_Y(p) = E_ξ[Y(θ^(p), ξ) − Y(θ, ξ)]，S_Y(p) = |Δ_Y(p)|。

扰动先改变代理行为，再通过互动改变其他代理可见的上下文，形成“局部行为敏感 → 互动中介 → 集体分歧”的传播链。若局部与集体敏感性可在同一结果尺度上度量，互动放大即 S_collective(p) > S_local(p)，互动效应差 A_m,p = S_LLM_m,p − S_fixed_m,p 为正表示放大、为负表示衰减。本文进一步区分表征扰动（改变同一设定的呈现方式）与设计扰动（改变被模拟系统本身的组分），这一区分在 TRAILS 中被展开。

据此，研究问题不是“模拟是否真实”，而是三个可检验的问题：RQ1 单项受控扰动能造成多大结果位移；RQ2 多代理互动会放大还是衰减该位移；RQ3 位移能否从个体行为传导到集体网络结构，以及如何把审计结果转写为结论的适用范围。

M. Materials & Methods（材料与方法）

• 仿真范式与实现：属 ABM（基于 LLM 代理的 agent-based model），不是 SD，也不是 DES；无存量—流量结构，时间步为“一轮”，每轮被激活代理同步决策。仿真器为作者自建的 Python 框架，模型查询与解析设置在同一比较内固定，代码与数据公开于 github.com/angelayejinyi/butterfly-effect-sim。原文未报告经验标定数据：人设、立场分布（EC 固定为五级）、网络度序列均作为设计参数，目标是受控扰动比较而非经验拟合；这一点限制了对真实人群的外推。
• 囚徒困境设置：T=10 轮，动作 C/D，收益 (C,C)=(3,3)、(C,D)=(0,5)、(D,C)=(5,0)、(D,D)=(1,1)。单代理制中一个 LLM 分别对阵四个固定策略 O={Tit-for-Tat, Random, Always-Cooperate, Always-Defect}；双代理制中两个配置匹配的 LLM 互相对弈。每个条件 N=30 次独立运行；双代理每轮双方各查询一次，提示顺序跨轮随机化以削弱位置效应；解析失败重试一次，仍失败回退为 Defect；温度 0.3、top-p 0.95，比较内固定。PD 实验使用 gpt-5.2、claude-haiku-4-5、gemini-2.5-flash、deepseek-v3.2。
• 囚徒困境扰动操作化：人设格式三维——Plain（一段散文）、Descriptive（四条要点）、Tabular（四行键值表），三者语义等值（目标均为最大化长期收益、研究对手可被利用的模式、调整策略保持竞争性）；博弈框定三维——Canonical（标准博弈论标签）、Moralized（合作/剥削的道德措辞）、Risk（风险与脆弱性措辞），收益结构不变；记忆表征 2×2——Table 或 Narrative 历史 × 是否附统计摘要（双方合作次数、合作率、累计与平均收益、CC/CD/DC/DD 联合结果计数）。
• 回音室设置：N=100 代理、T=15 轮，代理 i 持固定立场 s_i∈{−2,−1,0,1,2}（对“政府是否应加强对先进 AI 的监管”），立场全程不变，故结果刻画“给定初始立场分布下的互动结构”，不含意见更新。每轮按激活概率抽样，若无人被抽中则随机选一人保证至少一次决策；被激活者观察邻居近期帖子，在 Post / Repost / Reply / Do nothing 中选择，转发与回复还需选择可见目标。默认推荐流 5 条、记忆窗口 2 轮。网络由固定幂律型度序列生成，目标平均度 8、指数 2.4，调整至可图形化，同一度序列在各结构条件下复用；每个条件 N=30 次运行。EC 实验使用 gpt-5.2、claude-haiku-4-5、gemini-2.5-flash、deepseek-v4-flash。
• 回音室扰动操作化：表征扰动为人设 Bullet（agent_id / bio / follower_count / stance / neighbor_count 结构化字段）vs Prose（叙述句，信息量匹配）；设计扰动包括激活概率 0.3 vs 0.5、记忆窗口 2 vs 4 轮、推荐流上限 5 vs 10 条；同配性用度保持的双边交换把输入网络调至 Low h∈[0.02,0.10]、Medium h∈[0.12,0.20]、High h∈[0.22,0.30]；枢纽分配在固定度序列下改变高分节点所属立场群体，分 Random / Mixed / Pro / Anti 四条件，并统一回到中同配区间。
• 结果测量：PD 主结果为合作率 CoopRate_i = (1/T) Σ_t 1(a_i,t = C)，次结果为每轮平均收益 Payoff_i = (1/T) Σ_t u_i,t。EC 在个体层用配对一致率：动作一致率 G_action 与目标一致率 G_target（同种子、同轮、同代理配对；目标缺失或只在一边出现计为不一致）；在集体层用加权立场同配性 r 与加权同组边比例 H：r = (Σ_u p_uu − Σ_u p_u_out·p_u_in) / (1 − Σ_u p_u_out·p_u_in)，H = Σ_ij A_ij·1(g_i = g_j) / Σ_ij A_ij，其中 A_ij 为 i 对 j 的转发/回复次数。
• 统计推断：分析单位为一次仿真运行；条件间共享随机种子。PD 的配对比较用双侧配对检验，在“模型 × 表征维度 × 结果”族内做 Holm 校正；互动效应差 A 用 30 个配对种子的 10,000 次配对 bootstrap 给出逐点 95% CI（同一种子贯穿各表征条件、四个固定对手与 LLM–LLM 条件）。EC 的二元设计扰动用双侧配对 t 检验（族内 Holm），人设表征用双侧配对 Wilcoxon 符号秩检验（跨四模型与两集体结果做 Holm）。bootstrap 区间为逐点、未做多重校正。

R. Results（结果）

• PD：人设格式是最大单一敏感源：GPT-5.2 双代理条件下，Plain 人设合作率 98.2%，Descriptive 仅 23.0%，落差 75.2 pp（95% CI [62.0, 88.3]），每轮平均收益同步下降 1.48（p<.001）。四族最大人设对比分别为 GPT-5.2 75.2、Claude Haiku 4.5 77.7、Gemini 2.5 Flash 36.0、DeepSeek V3.2 7.7 pp；收益落差 1.48 / 1.49 / 0.79 / 0.14。博弈框定在 GPT（19.3 pp）与 DeepSeek（8.8 pp）显著，Claude 最大对比仅 3.3 pp、Gemini 9.0 pp 不显著；记忆表征仅 GPT 显著（6.2 pp），Claude 2.7、Gemini 13.8、DeepSeek 1.0 均不显著。
• PD：互动放大方向随模型与对比而变：Plain→Descriptive 的 A 在 GPT-5.2 为 +0.481 [+0.327, +0.622]、Claude +0.462 [+0.376, +0.529]、Gemini +0.287 [+0.190, +0.387]，DeepSeek 为 −0.087 [−0.108, −0.066]（衰减）。但同一模型内部并不单调：GPT-5.2 的 Plain→Tabular 为 −0.578 [−0.602, −0.556]（强衰减），Descriptive→Tabular 又为 +0.422 [+0.295, +0.546]（强放大）；Claude 的 Plain→Tabular 亦衰减（A=−0.286），Gemini 则反向放大（A=+0.286）。因此“某模型稳健/不稳健”不能由单一对比推出。
• EC：动作几乎不变，目标大幅漂移：GPT-5.2 的配对动作一致率 99.7% [99.6, 99.8]，目标一致率仅 55.1% [54.1, 56.0]，说明扰动主要改变“跟谁互动”而非“做什么”。Prose 相对 Bullet 使跨群体目标率上升 5.15 pp [4.22, 6.07]，第 15 轮累计同配性低 0.194 [−0.220, −0.167]，同组边比例低 0.051 [−0.061, −0.041]。方向存在模型异质性：Gemini 同为跨群体 +2.31 pp、同配性 −0.035；DeepSeek V4 Flash 反向（跨群体 −7.35 pp、同组边比例 +0.072），Claude 的集体结果不显著。
• EC：设计扰动的敏感度分层：激活概率 0.5 vs 0.3 在四族均显著提高同配性与同组边比例（r 增幅 0.068–0.108），是最稳定的设计敏感源；记忆窗口 4 vs 2 在 Claude、Gemini、DeepSeek 显著（r 增幅 0.063–0.092），GPT 不显著；推荐流 10 vs 5 效应最小，仅 Gemini 的同配性（0.015*）与 Claude/Gemini 的同组边比例（0.012** / 0.009**）显著。同配性与枢纽分配作为情境相关扰动只在图 8 呈现，正文未给点估计。
• 跨场景综合：稳健性既不是模型属性，也不是扰动属性，而是“模型 × 扰动 × 对比 × 结果层级”的联合属性；在 PD 中表现为放大/衰减的非传递性，在 EC 中表现为个体动作稳定但集体结构漂移。

a / D. Discussion & Conclusion（讨论与结论）

• 理论意义：稳健性是独立于真实性的效度维度：既有 LLM 社会模拟验证聚焦行为可信、经验对齐、理论接地与人类评审，本文补上“替代实现下结论是否保持”的一维。A 的非单调性（同一模型 Plain→Descriptive 放大、Plain→Tabular 衰减）说明敏感性不能由一次消融外推，审计必须覆盖多个预注册对比；EC 中“动作一致率高、目标一致率低”则说明敏感性的位置可以从行动选择转移到互动对象，再传导到网络结构。
• 审计卡的操作化：PD 人设格式被标为情境无关的 TRAILS-R 扰动，75.2 pp 位移 → Implementation-sensitive；博弈框定情境相关，19.3 pp → 结论须限定框定条件（Scope-limited）；记忆表征情境无关但位移较小（6.2 pp），是否保留取决于预设容忍度。EC 中人设表征情境无关，跨群体目标 +5.15 pp、同配性 −0.194 → 回音室强度的实现敏感；激活概率情境无关且四族皆敏感；同配性与枢纽分配情境相关，用于界定结论成立的结构条件；就“是否存在回音室”这一现象级主张，审计结论为 Inconclusive（幅度变化不足以判定是否越过存在性阈值）。
• 对公共管理与传播研究的含义：LLM 社会模拟正被用于内容审核、平台设计与政策预判；若论文只报告单一配置下的“AI 社会认为 X”，读者无法判断 X 是机制还是提示词产物。审计卡要求披露模型族与版本、提示词、种子、扰动覆盖与容忍度，并把结论写成“在何种模型、何种网络结构、何种互动时程下成立”。这对计算传播的回音室/极化研究、公共管理中的政策沙盘尤其关键：情境相关敏感（同配性、枢纽分配）定义政策结论的适用边界，情境无关敏感（人设排版、记忆编码）则提示结论不可移植。
• 局限：仅两个场景、四个模型族、固定互动时程；EC 立场固定，无法刻画意见内生变化，行为与集体结果之间只识别跨层模式、未建立因果中介；无外部经验标定与人类行为对照，稳健性不等于外部效度；四家商业模型会随版本漂移，N=30 对小效应精度有限，bootstrap 区间未做多重校正；同配性与枢纽分配仅有图无表，无法复算点估计。
• 数据与声明：代码与数据公开于 github.com/angelayejinyi/butterfly-effect-sim；正文未列资助与利益冲突声明。