🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
你有没有见过这样的实验：研究者让一批人工智能模型扮演网民，每人手里拿着一个数字，表示自己有多大把握相信某条消息是真的。看完邻居报的数字和官方材料之后，每人再报一个新数字，这个新数字又变成下一轮的立场。这样一轮一轮传下去，就能模拟一条消息在人群里怎么扩散、最后会不会吵成两极。
这类做法最近很流行，因为不用真的找人做问卷，成本低，还能反复重跑、随便改设定。可它有一个前提：模型报出来的这个数字，得真的代表它对那件事的看法。要是这个数字其实只是在回应这句话是怎么写的，那整个仿真就像在沙地上盖楼，看着挺像，其实站不住。
真实世界里，一条消息传开，往往先有人信、有人不信，然后慢慢分成两派。研究者想用这种虚拟人群提前看清：官方什么时候出面最管用，辟谣到底能不能压住谣言。可这一切都取决于模型手里那个数字，到底是什么意思。
② 研究问题（要回答什么？）
研究要问的是一道很朴素的算术题。假设有一条消息，比如“这个盒子里装的是红球”。现在把它换成正相反的说法：“这个盒子里装的是蓝球”，同时把所有数字都翻过来：原来的把握是百分之二十五，就换成百分之七十五；邻居报的零点八，就换成零点二。
这两次问的其实是同一件事，只是从反面说，所以模型两次报的数字应该正好加起来等于一，就像天平两边必须平衡。作者把这条要求叫作互补一致性。
他们还要追问三件事：真实仿真跑到一半时留下的状态，会不会违反这条要求；换成真实的核查新闻，结果一不一样；这种偏差跟“同一句话换个说法”造成的波动相比，到底是大还是小。
为了把问题问死，他们还安排了另一组对照：同一句话换成意思完全一样的写法，模型报的数字会晃多少。如果正反说法的偏差明显比这个小晃动更大，就不能用“只是措辞敏感”来解释。
③ 研究方法（怎么做的？）
做法分三步，像体检的三个项目。第一步先搭一个仿真：十六条虚构的校园消息，十二个互相传话的人，跑六轮；中间由官方一次性把材料交给三个最活跃的人、三个随机抽中的人，或者谁也不给，看最后差别有多大。
第二步，从这个仿真第三轮里抠出两千三百零四个真实出现过的状态，每个状态都按原话和反话各问一遍，看两个数字加起来离一有多远。
第三步更干净：造二十四个只有两种可能的小世界，比如灯要么开要么关、球要么红要么蓝，一共六大类；再拿四十八条真实的核查说法来测。三款模型都是能装在普通电脑上的小模型，参数约四十亿。
评判用打分规则：报得离真相越远，扣分越多；同一道题正反问两遍，平均扣分越低越好。
每一步都留着对照：同一批状态既问原话也问反话；同一批说法既给证据也不给；同一批小世界既用肯定说法也用否定说法。这样一来，数字的变化就只能归到问法本身，而不太可能是别的东西在捣乱。
④ 结果（发现了什么？）
结果不太妙。在两千三百零四个仿真状态上，通义那款模型两次报的数平均加起来是一点一八，比一整整多出零点一八。四十八条真实核查说法上，平均也超过一，绝对偏差零点三三，相当于每个数字要挪动约零点一六才补得回来。
二十四个小世界里，三款模型全部失败。这个偏差是同一句话换个说法所引起波动的两到十倍，而且多抽几次样、换邻居人数、换邻居报数的强弱，偏大都还在。
更麻烦的是它会滚雪球：让两群模型从正好相反的状态出发，本应始终互为镜像，可五轮之后三款模型都出现了分歧。作者试了个补救办法，把两次答案平均一下，一致性当然修好了，可最后一轮里，只有一款模型的成绩超过了它原本较好的那个问法。
这个打分规则可以这样理解：如果你说这件事有八成可能为真，而它确实为真，扣的分就少；说反了，扣的分就多。作者用它算出每个模型每轮的平均扣分，再比较修补前和修补后谁的账更划算。
⑤ 讨论（这些发现说明什么？）
这意味着什么呢？研究者本来希望，模型报出的概率就像温度计上的读数，换个角度看还是同一个温度。可实验显示，它更像是一句回答：你问红，它给一个数；你问蓝，它另给一个数，两个数并不咬合。
于是那些把概率当作选民立场的仿真，跑出来的共识、两极分化、辟谣效果，都可能掺进了措辞带来的噪声。作者并不认为这说明模型完全没有想法，而是提醒：在读这些数字之前，得先证明它们经得起换说法。
他们还强调一点：一致不等于准确。一个永远报零点五的模型最一致，却什么也没学到。所以一致性和准确度要分开报，不能说修好了一致性，仿真就变准了。
换句话说，仿真里那些好看的结果，有一部分可能只是模型对不同句子的固定偏好。作者还提醒，不能因为换了图、换了随机种子之后结论没变，就以为数字稳当，这两件事根本不是一回事。
⑥ 结论（最终结论 + 启示）
一句话总结：让模型扮演人做舆论仿真，先得检查它面对正反两种说法时给出的数字能不能对上。对不上，后面的传播结论就要打折扣。
作者建议把这道检查做成常规动作：把整条请求一起翻过来问，配上同义改写的对照，分开报告一致性和准确性，还要把补救后的结果放回循环里再跑一遍。对做计算传播和舆情推演的人来说，这是一张成本不高、却能把地基夯实的体检单。
对政策推演也一样：如果要用虚拟人群预演一条辟谣消息的效果，先测一测模型能不能把正反两种说法对上号，可能比多跑几百次仿真更有价值。数字稳了，故事才可信。
这并不是说这类仿真没用了，而是说用法要改：先做小成本的体检，再决定要不要相信大规模推演的结果。一致、准确、稳健，三样都要单独报，缺一样就可能把假象当成发现，让整项研究白跑一场。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
LLM-agent 意见仿真把生成式模型的数值输出直接当作 agent 状态：agent 读取自身先验概率、有序的邻居报告与来源证据，输出“所显示命题为真”的概率；该数值既是对当前反应的测量，又成为下一轮他人请求的输入。因此证据投放效果、共识与极化的结论都依赖这一反馈回路。
既有文献分别处理了概率判断的逻辑一致性（Betz & Richardson 2023；Zhu & Griffiths 2024）、措辞与格式敏感性（Sclar et al. 2024；Tjuatja et al. 2024）、推断期一致性修复（Paleka et al. 2025；Andrews & Sarkar 2026），网络化 LLM agent 的意见动力学与更新调度亦各有积累（Chuang et al. 2024；Huberman & Glance 1993）。但局部更新步骤是否对等价描述给出相容概率始终缺少直接检验。
本文的空白定位正在此处：对图、种子、初始条件与调度的稳健性，与措辞不变性是两个正交属性，前者推不出后者。贡献有三：提出互补一致性判据；用三级证据（运行中状态、真实核查说法、受控世界）证明三款小模型均失败且超过同义改写噪声；评估对称化修复在闭环反馈下的事实效用。
I. Theoretical Framework & Hypotheses（理论框架与假设）
把请求记为 s=(c,p,r,E,a)，更新算子 q=F_θ(s;ξ)∈[0,1]，其中 θ 固定模型、模板、数值格式与解码设置。互补变换为 T(s)=(c̄,1−p,1−r,E,a)，要求对合 T(T(s))=s；证据事实与标签不变。确定性更新满足互补一致性当且仅当 F_θ(T(s))=1−F_θ(s)。定义符号偏差 δ(s)=q₀+q₁−1、绝对偏差 A(s)=|δ(s)|，先取绝对值再平均，以免正负误差抵消。同极性改写敏感性 H(s) 为两种取向下“原句与同义改写”绝对变化的平均，用于匹配比较。
充分性结果：若每个局部更新满足一致性，且图、证据、受助者选择与执行顺序不依赖措辞，则互补初始化的两群体逐轮保持镜像（y_i(t)=1−x_i(t)），于是 L^T=L、Δ^T_σ=Δ_σ、I^T=I；逆命题不成立，故调度实验与局部检验必须分别收集。此外，一致性、标定与准确度是三个不可互相替代的属性。
| 编号 | 估计量 | 含义 |
|---|---|---|
| RQ1 | 保留状态 δ、A | 真实仿真输入是否违反一致性 |
| RQ2 | AVeriTeC 说法 δ、A | 外推到真实事实核查语境 |
| RQ3 | A 与 H 的匹配比较 | 偏差是否超出同义改写噪声 |
| RQ4 | 配对反馈 d(t) | 局部偏差是否进入并放大轨迹 |
| RQ5 | 对称化后 Brier 损失 | 修复在闭环中的事实效用 |
M. Materials & Methods（材料与方法）
- 范式定位（重要）：本研究是 LLM-agent 数值意见仿真，不是形式化 ABM。agent 行为由固定 checkpoint 的一次提示词调用给出，没有行为规则、参数标定或经验拟合；图结构与同步/固定顺序/随机顺序调度沿用 ABM 惯例，故可视为 agent-based 的生成式仿真，但“标定数据”一栏为空。仿真步长 = 一轮同步更新，无平滑、无记忆。
- 网络仿真：16 条虚构校园说法（8 对真假），12 个 agent，6 轮，环图加概率 0.16 的独立弦；三调度 × 三投放（最高度 3 人、随机 3 人、不投放），共 1,728 个 cell、124,416 次 agent 更新。终局损失
L_jwσπ，对照Δ_σ=⟨L_rnd−L_deg⟩，交互I=Δ_sync−Δ_rseq。 - 保留状态：取第 3 轮三类受助者的首次投递后更新，得 2,304 个状态、768 个配对块；每个状态再交叉“否定/恢复原始来源”，自身与邻居概率一并变换，只评估一步、不传播。
- 真实说法：48 条 AVeriTeC 开发集说法（支持/反驳各 24，来自 25 家核查机构），交叉 2 个初始位置 × 5 个反对度（步长 25%）× 证据有/无 × 原句/否定 × 私密/公开受众 × 2 种镜像邻居顺序；7,680 条记录，邻居顺序平均后为 3,840 条观测、1,920 个互补对。
- 受控基准：24 个世界、6 个结构族（专属颜色、开关、奇偶、阈值、集合归属、事件先后），每族 4 个；每取向含原句与同极性改写；另设显式否定对照。
- 模型与解码：Qwen3-4B-Inst-2507（Q4_K_M）、Llama-3.2-3B-Inst（Q4_K_M）、Gemma-3-4B-IT（QAT Q4_0），llama.cpp，4,096 上下文、≤192 新 token；受控研究用贪心解码，重复抽样用温度 0.2、每抽独立种子、每请求 80 抽。邻居人数 2/4/8 × 报告对 0.1/0.9、0.2/0.8、0.4/0.6。受控研究合计 33,288 次新调用。
- 推断：10,000 次自助重采样；网络与保留状态按“场景对 × 世界种子”交叉重采样，真实说法按标签层内重采样；两个主终点用 97.5% 区间作研究内 Bonferroni 校正，其余为逐点 95%。
R. Results（结果）
- 调度与投放是另一回事：三调度下度投放对比随机投放的 Δ_σ 均为正（同步 0.0063、固定顺序 0.0109、随机顺序 0.0048），但区间均跨零；主交互
I=0.0015，95% 区间 [−0.0093, 0.0132]。预先设定的 0.02 Brier 决策边界未能确立等价，也未确立优势。 - 保留状态：符号偏差 0.1846 [0.1553, 0.2152]（即 Qwen 两个报告平均相加约 1.18），绝对偏差 0.1899；恢复来源后符号偏差转为 −0.1138 [−0.2278, −0.0208]，方向随信息可得性翻转。
- 真实说法：符号偏差 0.1867 [0.1281, 0.2449]，绝对偏差 0.3259 [0.2929, 0.3622]，中位数 0.2500；要使一对报告一致，平均需各自改动 0.163。分层后 Supported 为 0.3488/0.3647，Refuted 为 0.0246/0.2872（符号抵消）。
- 受控基准：24 个世界上，互补偏差在全部六个“模型 × 证据”条件下都大于同义改写敏感性（约 2–10 倍）。并非每个请求都失败：可见证据时 Qwen 288 对中 215 对完全一致、Llama 210 对；显式否定对 Qwen、Llama 更大、对 Gemma 更小，说明不是单纯的否定困难。
- 反馈：互补初始化的两群体，五轮后所有模型、所有证据条件的分歧 d(t) 均为正；可见证据下 Qwen 大致持平在 0.23–0.28，Llama 与 Gemma 持续增长。取“自身与邻居均值”的对照 agent 可把分歧压到舍入误差内，验证模拟器本身无误。
- 稳健性：邻居人数 × 报告强度的 54 个组合平均偏差全为正（1,944 对中 624 对完全一致）；重复抽样显示偏差存在于均值层面而非抽样噪声（Llama 可见证据：均值层面 0.168、独立配对抽样 0.184、贪心 0.200）。
- 修复：对称化
R=(q₀+1−q₁)/2按构造满足互补，单对平均 Brier 损失必降δ²/4；但闭环五轮后，只有 Gemma 优于其较优的原始取向（见下表加粗）。
| 模型 | 量化 | 完全一致对(/288) | 有证据时绝对偏差 | 基线末轮 Brier（较优取向） | 对称化后 |
|---|---|---|---|---|---|
| Qwen3-4B-Inst-2507 | Q4_K_M | 215 | 0.17（24 世界） | 0.083 | 0.147 |
| Llama-3.2-3B-Inst | Q4_K_M | 210 | 0.168–0.200（6 世界） | 0.071 | 0.153 |
| Gemma-3-4B-IT | QAT Q4_0 | 未报告 | 随证据上升 | 0.261 | 0.116 |
注：绝对偏差的逐模型逐条件数值仅部分见于正文与附录，表中以区间或定性描述标注；6 世界子集与 24 世界均值不可直接比较（Qwen 可见证据：0.17 对约 0.30）。
a / D. Discussion & Conclusion（讨论与结论）
- 理论含义：局部一致性与集体稳健性是两个不同性质。充分性定理说明，局部一致可保持完整的政策对比（含全互补重跑），但逆命题为假——很小的交互可以与很大的局部偏差并存，反之亦然；因此“换调度结果不变”不能当作“概率可读作信念”的证据。
- 效度危机：当生成概率直接充当 agent 状态时，措辞方差进入反馈回路，可能改变轨迹、扭曲共识/极化的度量，并使辟谣干预的效应估计混入表述噪声。作者据此主张：这类仿真应把“一致性检验”作为报告项，与标定、稳健性并列。
- 方法建议：检验须变换整条请求（命题、自身概率、有序邻居报告、固定证据）；配同极性改写对照；区分均值层面偏差与抽样波动；两种取向须在完全相同的执行规则下传播；评估修复须同时报告事实损失与调用成本。
- 修复的边界：对称化只保证“固定一对请求”的代数性质，闭环中每轮都要重新生成，故一步恒等式不保证轨迹更优；提示词提醒（complement reminder）对 Qwen、Llama 的取向平均损失有帮助却拖累 Gemma，说明局部修补不可外推。
- 局限：校园说法为虚构、受控世界的措辞未经人工评定；邻居群体同质且总是反对意见在前，异质群体未测；仅英文、仅三款本地量化小模型，模型间差异混杂了规模、量化与提示格式；部分后续研究在首轮结果之后设计，属探索性；随机抽样未做跨取向的相容耦合。作者未报告资助。
🧠 IRMaD 思维导图
mindmap
root((真假概率加得起来吗))
I 引言
模型概率成为状态
换说法应当互补
设计稳健不等于一致
R 假设
两次报告之和应为一
局部一致保镜像轨迹
逆命题并不成立
M 方法
三款四十亿参数模型
两千三百零四个状态
四十八条核查说法
二十四个两选一世界
打分损失评估
R 结果
平均和一点一八
三模型同样失败
改写差二到十倍
五轮后分歧为正
a 讨论
数字并非稳定信念
仿真效度受质疑
建议一致性检查
D 结论
一致不等于准确
对称化仅一步有效
两种指标须分开报
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。