ODD+LLM：为可复现的社会仿真规定大模型智能体行为

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

ODD 协议（Grimm 等 2006；2010；2020）用目的、实体与状态变量、过程概览、设计概念、初始化、输入数据、子模型七个板块，把基于智能体的模型描述到“独立建模者可以重建并复现结果”的程度，其核心是子模型板块：智能体行为被写成方程或规则。此后的 ODD+D（2013）、ODD+2D（2018）、vODD-DD（2026）与 VISA（2026）都在同一路线增补，却都没有处理提示词拼装，因为这一问题在 LLM 智能体出现之前并不存在。LLM 智能体的动作不是方程，而是对一个运行时拼装出的词元序列做采样：系统提示、人设、交互历史的某个子集、环境状态的某种渲染、输出指令，拼接后送模型，再解析、可能被拒绝、可能重采样，最后映射为仿真动作。这套拼装与解析过程，正是 LLM 智能体缺失的“子模型”板块。YuLan-OneSim（Wang 等 2025b）已用 ODD 正向生成五十个社科场景的可执行模拟器，但其协议止步于智能体类型与交互模式，不涉及上下文如何组装、输出如何解析，需求存在而格子缺位。与此同时，有效性批评指出该领域的系统性缺口：Larooij 与 Törnberg（2025）评述三十五篇论文后发现普遍缺失验证；Zhou 等（2025）提出 PIMMUR 六项设计效度原则；Ye 等（2026）仅改变人设呈现形式（散文、项目符号、键值表）就使合作率相差七十六个百分点；Barrie 与 Törnberg（2025）则认为命名游戏结果与预训练数据泄露在观测上等价。本文是报告规范而非新算法，贡献方式近于 CONSORT、TRIPOD：规定写什么，并给出这些项目确实要紧的证据。

I. Theoretical Framework & Hypotheses（理论框架与假设）

ODD+LLM 在保留既有七个板块不变的前提下，于设计概念与初始化之间插入五个板块。板块 C 与 D 采用重复记录结构，一份记录对应一个模型角色或一个 LLM 调用点，因而文档随系统规模线性增长：两主体、单调用点的困境博弈仍是一页纸，而有九个不同调用的生成式架构论文就产生九份记录。评分构念把“断言存在”与“规定清楚”严格分开：只说“智能体有记忆模块”只得 1 分，永不 2 分；2 分要求独立实现者无需猜测即可复现。每个 0 分或 1 分都会生成一个“决策点”，其定义与多宇宙分析中的分支点完全相同——一个可以在不违反原文的前提下被两名实现者取不同值的选择。这套构念使可重建性从口号变成可计数的对象。重复记录的代价是文档随系统增长，收益是不再有“整篇论文只写了一段方法”的模糊地带。

三个来源支撑这套结构：Block A 直接采用 CoALA（Sumers 等 2024）的认知架构分类学作为本体，而非另造一套；Block D 的签名格式借鉴 DSPy（Khattab 等 2024）的机器可读签名；调度词汇采用 Concordia（Vezhnevets 等 2023）的 simultaneous / sequential / asynchronous 受控词表。满足该 schema 的 YAML 配置文件本身即为 Block D 文档，无需另写散文描述；本文的多宇宙实验臂配置就是现成的 Block D 规格。

M. Materials & Methods（材料与方法）

多宇宙分析的载体是 Flint Ashery 等（2025a，Science Advances）的命名游戏：N=24 个智能体从 W=2 个字母中反复选名，同名得 +100、异名扣 −50；原文报告个体层面无偏的智能体群体仍不成比例地收敛到某个“强”约定，机制来自“成功后坚持、失败后切换”的微观不对称。选它作案例的理由是它按现行规范已属文档优良：报告模型版本、设真实对照、公开补充材料中的提示词与代码，因此是保守检验。作者从编码工具给出的 21 个决策点中挑出六个行为相关的分支点，做一条基准臂加七条单变量变体（M1 有两个变体），共八条臂；所有臂共享 N=24、W=2、H=5、收益 +100/−50 与思维链提示，使用 Claude Sonnet 4.6（AWS Bedrock，temperature 0.7），而非原文的 temperature 0.5、top-k 10、max tokens 6（见原文补充材料表 S4）。

两阶段设计：阶段一用合成的记忆状态直接询问模型（7 状态 × 8 臂 × 300 样本 = 16,800 次调用），测量微观不对称量 R4；阶段二跑完整群体仿真（8 臂 × 20 种子 × 每种子约 200 次调用，约 32,000 次调用），主指标为 P(M)，即最终收敛到 M 的运行占比，收敛轮次定义为群体平均成功率首次越过 0.95 的轮次，不确定区间用 Wilson 95% 置信区间，整体以 specification curve（Simonsohn 等 2020）呈现。文献部分：语料取自预设的十八个 venue（ACL、EMNLP、NAACL、COLING、NeurIPS、ICML、ICLR、AAAI、IJCAI、AAMAS、ICWSM、WWW、CHI、JASSS、Science Advances、Nature Human Behaviour、PNAS 及 arXiv cs.MA/cs.CL/physics.soc-ph），2023–2026 年；入选条件为至少一个 LLM 智能体在不少于两个时间步上被反复征询、状态跨步传递、并与其他主体互动。流程为 48 条记录经题名摘要筛除 16 条、细读 32 篇、再排除 4 篇，最终编码 28 篇（18 个 venue、7 个分层）。工具在 Pass 1 的 10 篇（9 篇合格）中成形并于 2026-08-15 冻结为 v1，Pass 2 用冻结版编码其余 19 篇，不合板块结构的决策点记为 miss 并报告。

R. Results（结果）

阶段一（表 2）显示，基准臂在空记忆条件下的 P(M|empty)=0.680，R4 不对称量为 +0.200，即微观层面确实偏向强约定 M。多数单变量变体只造成小幅移动：叙述式记忆 0.653（+0.063）、JSON 0.730（−0.040）、最早优先 0.690（+0.021）、累计计分 0.707（+0.217）、完美配对 0.693（+0.257）、均匀回退 0.663（+0.227）；只有第一人称框架把方向翻了过来：0.587，不对称量 −0.243。M5、M6 属群体层机制，逻辑上不应影响直接探测，其波动属抽样噪声。

阶段二（表 3）出现更有意思的张力：基准臂 P(M)=0.350（95% CI [0.18, 0.57]），三分之二的运行反而收敛到 Q，与阶段一“M 偏强”的方向相反；作者归因于 20 个种子下的随机动力学，且所有第三人称臂的 Wilson 区间都覆盖 0.5，无法与抛硬币区分。第一人称臂则 P(M)=1.000（[0.84, 1.00]），二十个种子无一例外收敛到 M，收敛轮次 5.3，而基准为 16.1，其余臂在 14.9 至 19.9 之间，M2 最早优先最慢、接近第 35 轮才完成协调。六个第三人称臂的 P(M) 全部落在 [0.30, 0.55]，与基准在统计噪声内。

文献编码（表 4、表 6）：29 个系统层条目均分 1.52/2.00（76%）；架构板块 1.63、验证 1.46 尚可，推理配置最差，按角色仅 0.48，系统指纹（CR2）在全部 28 篇中均为 0。绑定层（DB1–DB7）均分 1.14，其中词元预算（DB-6）仅 0.39、28 篇中 17 篇得 0；解析层（DR1–DR5）均分 0.37，重试策略在 85% 的论文中为 0、解析失败率在 93% 中未报告，DR3–DR5 从未有论文得 2 分。绑定与解析合计 306 个评分子项中 236 个低于 2 分，即 77% 不确定；没有任何一篇的主调用点在全部绑定与解析条目上得满分。28 篇共产生 705 个决策点（均值 25.2，范围 10–40），第 15 篇后每篇新增轴少于 2 个，说明由 Pass 1 归纳出的板块结构对留出集具有泛化性，且没有任何决策点需要冻结工具之外的板块。平均每篇 1.5 个模型角色（范围 1–3），但只正式编码主调用点；Block C 在 agent 角色上为 0.53、跨全部角色为 0.48，说明次级模型系统性不可见。

a / D. Discussion & Conclusion（讨论与结论）

解读的关键是把两类臂分开。六条“原文未说清或委托给补充材料”的臂落在 P(M)∈[0.30,0.55]，与基准在统计噪声内；M4 不同质，它改的是一条原文写明但易被忽略的说明，检验的是信息没被读到，而不是第七种合理重建。因此主张是单项而非全项：漏掉人称框架足以让一个换了模型的重建给出定性不同的现象，其余五项可能在此检测力之下调节结果。规格显著性与规格缺失要区分：只有 M6 属真正未定义，而它恰好精确回到基准 0.350，因为解析失败率不足 1%、分支几乎从不触发，说明文档投入应优先放在高频高影响的条目上。分层比较显示，下机制类结论的论文（n=11）主调用点均分 1.00，下政策类结论的（n=9）仅 0.72，但分层是混杂因素（政策类论文集中在更复杂架构），样本量也不足以做统计检验。

对公共管理与传播类仿真的可复用意义。这套协议不止是机器学习工程规范。其一，语料本身覆盖大量公管与传播议题：政策沙盒层（PolicySim、疫苗犹豫、流行病中的 AI 政策者）、意见动力学层（回声室、网络舆论）、平台规模层与规范涌现层，正是公共政策评估与计算传播最常用的四类仿真，而它们恰恰是调用点最多、角色最多、最难重建的一类。其二，编码结果显示政策类结论的平均规格得分最低（0.72），意味着最直接面向决策者的那批仿真可重建性反而最弱，这对以仿真证据支撑政策建议的做法是直接警示。其三，Block B 把人设表面形式标为行为性而非装饰性，Block E 要求报告重复次数、方差单位、表示敏感性与非 LLM 或人类基线，两项都可直接嵌入传播学的预注册与公管期刊的补充材料清单。其四，协议把可重建性操作化为可计数的条目与决策点，使期刊、评审与复制研究可以据此设定最低披露门槛，而不必依赖作者自觉。

局限。演示是单案例、每臂 20 个种子，只能说明某项规格可以决定结果，不能估计这种情况发生的频率；只用一个模型且解码设置与原文不同，量级未必可移植；设计为单因子八臂而非 2^6=64 的全因子，轴间交互未检验；20 个种子下只有 M4 可统计分辨。协议覆盖方面，多宇宙只演练了六个条目（DB-1 至 DB-4、DG2、DR-3），其余条目由语料中的不确定频率与既有证据支撑，尚未逐项实验验证。证据方面，编码由单一编码员完成、未估计评分者间信度，77% 只能视为指示性而非已验证；作者也未测量作者负担或证明 ODD+LLM 确实提升重建成功率。协议目前只覆盖文本进、文本出的调用，视觉语言模型的多模态输入未纳入。需要强调，这不是对被复现论文的批评：该文按现行规范文档良好，缺的是让已做选择有固定安放之处的惯例。