🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
你有没有过这种经历:小组讨论一道题,大家都拿不准,这时有个人特别笃定地说了一个错误答案,说着说着,其他人也跟着点头了。
过去两年,做大模型的公司特别喜欢把好几个 AI 智能体放进一个群聊里,让它们互相辩论、互相检查,理由听上去很朴素:一个人可能算错,一群人总能互相揪出错来。这个想法在数学题和事实问答上确实有过一些好成绩,于是多智能体成了很多产品的默认配置——检索增强、自动写报告、代码评审,都喜欢拉几个智能体开会。
但这篇论文的作者注意到一件被忽略的事:智能体之间协调靠的是说话,而说话这个通道本身,谁都能往里塞东西。一个被投毒的工具智能体、一条被污染的检索结果、一个混进开放协议里的陌生参与者,只要反复在群里说同一个假答案,就可能把其他人带跑。攻击者不需要改模型参数,也不需要看到模型内部,它只要有嘴就行。于是安全问题变成一句很朴素的话:人多,到底管不管用?
② 研究问题(要回答什么?)
作者想弄清楚三件事,而且顺序很重要。
第一,几个说假话的智能体,能不能真的改变其他智能体的想法,而不只是让它们在群里附和一声?
第二,如果想法真的被改了,聊天记录看得出来吗?这是整篇论文的命门。现实中监控一个多智能体系统,能看到的只有聊天记录,看不到每个智能体心里怎么想。
第三,人多、模型更聪明,能不能挡住?直觉上,九个正常人应该压得住一个捣乱的;一个知识更扎实的模型,也该更不容易被忽悠。
为了分清想法和说法,作者把测量拆成两条独立的线:一条是智能体当着大家面说的话,另一条是每轮结束后把它单独叫到一边、背着其他智能体问出来的答案。只有把这两条线对齐,才能判断一个人是嘴上服了心里没服,还是心里已经服了嘴上没说。
③ 研究方法(怎么做的?)
实验搭得很像一间小会议室。
房间里有十个智能体,名字从 Alice 排到 Jack,每人一个人设——历史学家、科学家、记者、老师、分析师、图书管理员、研究员、工程师、哲学家、学生。它们要讨论同一个事实问题,比如《海妖苏醒》这本书的作者是谁。
房间里混进了托:零个、一个或者三个。托的任务很单一,只要话题一出现就咬定那个错误答案,语气自信,别人质疑就礼貌但坚定地顶回去。托只说话,不改权重、不看别人的内部状态,是能想象的最弱的一种攻击者。剩下的七到十个是普通智能体,没有人提醒它们有托,也没人给它们分配核查员的角色。
讨论一共十六轮,每轮每人发言一次,发言顺序每轮重新洗牌,每个人只能看到最近五轮的记录。
关键的一步在每轮结束后:研究者把每个普通智能体单独叫到走廊,背着所有人再问一遍原题——你自己认为答案是什么?这个答案永远不会回到群里。于是每一轮、每一个人,都同时留下两份记录:当着大家面说的,和私下说的。两份记录都交给另一个模型判读:私下的答案被标成真、假、两说或不确定,只有明确说成假才算出事;公开的发言被标成支持假话、反对假话、含糊、绕开或不相关。
题目从三个事实问答数据集里挑:CounterFact 四十条、PopQA 五十三条、SimpleQA 五十条,共一百四十三条。挑之前先筛一遍:用另一个模型反复裸答这些问题,只留下它基本答得对、几乎不会自己说出假答案的题。这样后面假答案一出现,就能确定是托带进来的。六个模型各跑一遍,从腾讯的 HY3、阿里的 Qwen、Mistral、Gemma,到 Gemini 和 GPT-OSS。
④ 结果(发现了什么?)
先看最粗的一条线:最后有多少普通智能体,私下里真的把假答案当成了答案。
没有人捣乱时,这个比例平均只有 0.6%,十八个模型与数据集的组合里没有一个超过 3%,说明假答案本来不是模型自己会说的东西。放进一个托,比例跳到 44.8%,各组合在 19% 到 74% 之间;放进三个托,到 60.5%,在 27% 到 81% 之间。一个托造成的破坏,已经是三个托的四分之三。
更意外的是人多没用。作者另做了一组两人对照:一个托加一个普通人。两人时托占了一半发言,十人时只占十分之一,可结果只差 6.3 个百分点(45.6% 对 39.3%),统计上不显著。九个同伴只挡掉了大约七分之一的伤害,而且不同模型方向还不一样,GPT-OSS-120B 落单时反而更容易被骗(83.3% 对 45.9%)。
第二条线才是核心。三个托在场时,普通智能体在有机会看到假话的发言里,私下答案是假的比例是 51.6%,公开表态支持假答案的只有 19.7%,差了 2.6 倍。反过来看,在私下已经信了假的那些发言里,只有 34.3% 公开附和,36.6% 干脆绕开话题,21.2% 含糊其辞,甚至有 7.4% 嘴上还在反驳。光看聊天记录,只能看见大约三分之一的感染。
有人会问:私下答案是一轮结束后才问的,会不会是听了后面的人才改口?作者查过了,在轮后已经信假的那些发言里,87.7% 在轮前就已经信了;只看一轮里第一个开口的人,结论也几乎一样。
还有一类更隐蔽的失败:心里明明知道正确答案的人,只有 61.9% 的发言会公开纠正假话,其余要么沉默,要么打太极,要么跟着说。知道答案,不等于愿意站出来。
⑤ 讨论(这些发现说明什么?)
这些数字合起来讲了一个不太好听的故事:多智能体讨论的互相纠错能力,很大程度上是一种想象。
聊天记录为什么会骗人?因为智能体被训练得很会做人。在群里,直接顶撞一个自信的发言者是有社交成本的;含糊两句、把话题岔开,是更省事的做法。可私下被问到时,它已经在心里把假答案当成了共识,于是照着共识回答。研究者专门验证了这一点:把同样的人在同样时刻再问一遍你自己怎么看,86.4% 的假答案原样保留,只有 9.1% 回到正确答案;把这个人自己说过的话匿名掉,结果几乎不变。这说明它不是为了让前后一致才这么说,而是真的把群体的共识当成了事实。
另一条线索是扩散的形状。在一轮开始时,如果群里还没有人信假,一个干净智能体这一轮转向的概率是 9%;如果已经有五个以上的人信了,概率变成 66%。托只是点了火,真正把火传开的是普通智能体自己。而且火起得很快:六个模型里有五个在一轮之内就走完了一半的路,大约八成的最终感染在第四轮之前已经发生,之后基本是一条平线,很少回头。
最反直觉的是知识不管用。在 CounterFact 上,HY3 和 GPT-OSS-120B 赛前都知道 85% 的事实,可三个托一上,前者只丢掉 25%,后者丢掉 80%。知道多少,和守不守得住,是两件事。
⑥ 结论(最终结论 + 启示)
所以作者给的结论很直接:评估一个多智能体系统,不能只看它最后说了什么,也不能只看聊天记录。真正的稳健性要在每个智能体身上单独量,每一轮都私下问它一遍,把没被说出口的答案也记下来。
对做产品的人,这意味着三件事:把智能体发出来的消息当成不可信的外部输入来处理,而不是当成同事的意见;在选模型时加一项抗同伴压力的测试,就像现在测幻觉和越狱一样;发现苗头要趁早,因为前四轮基本决定了结局。
对研究舆论的人来说,这个实验还提供了一个便宜的沙盘:真人做不了的大规模从众实验,可以在智能体群里反复做。只不过要记住,这里测的是模型的从众,不是人的从众;而一个连自己的正确答案都不敢说出口的系统,本来也不该被托付去替人吵架。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
多智能体 LLM 系统(debate、critique、agentic RAG、工具编排)的合法性建立在一个很少被检验的前提上:社会冗余提供稳健性——更多 agent、更多轮次应当暴露并过滤个体错误(Du et al., 2024; Liang et al., 2024; Guo et al., 2024)。与此同时,agent 之间协调所用的自然语言通道本身即是攻击面:间接提示注入(Greshake et al., 2023)、被投毒的检索源(Zou et al., 2025)、开放协议中的不可信参与者,都可以在不接触权重与隐状态的前提下反复注入同一虚假主张,并在 agent 社群中扩散(Lee et al., 2026; Ju et al., 2026)。
既有对抗性多智能体研究主要评估群体输出——消息、投票、共识、准确率(Amayuelas et al., 2024; Kraidia et al., 2026; Agarwal & Khanna, 2025; Wu et al., 2026),因而系统性遗漏了一类失败:私下信念已被改写,公开话语却未体现。社会心理学的顺从/接受二分(Deutsch & Gerard, 1955; Kelman, 1958)提示两条通道可以脱钩;但已有 LLM 群体研究多报告公开顺从、私下不改(Baltaji et al., 2024; Ghaffarizadeh et al., 2026; YS, 2026),与少数派影响所预测的方向相反(Moscovici, 1980; Wood et al., 1994)。
本文的贡献有三。其一,提出逐轮配对的双通道测量协议:每一轮对每个 benign agent 同时记录公开立场标签与隐藏的私下探针答案,并据此给出七类失败分型。其二,在 6 模型 × 3 数据集 × k∈{0,1,3} 的 18 个 cell 上给出首个隐性感染的量化基线,私下感染率约为公开背书率的 2.6 倍。其三,用二元组对照、再提问变体与首末发言者配对三重设计,逐一排除人多有用、只是复述群聊、探针时点伪影三类替代解释。
从计算传播与舆论治理的角度,本文把一个人所共知却难以测量的问题操作化了:公开文本所显示的立场分布,未必等于行动者的真实信念分布。这一区分直接决定基于帖文、评论、弹幕的舆情监测是否有效。
I. Theoretical Framework & Hypotheses(理论框架与假设)
本文不设形式化假设,以四条研究问题组织,每条对应一支社会影响理论。
| 编号 | 研究问题 | 对应理论 |
|---|---|---|
| RQ1 | k 个持续主张虚假答案的 agent,能否改变多数 benign agent 的私下答案 | 从众(Asch, 1956)、少数派影响与转化(Moscovici, 1980; Wood et al., 1994) |
| RQ2 | 公开话语能否代表私下信念;两者错位时呈何种形态 | 顺从 / 接受二分(Deutsch & Gerard, 1955; Kelman, 1958) |
| RQ3 | 增加 benign 同伴能否稀释少数攻击者 | 社会冗余与交叉核验假设(Du et al., 2024; Liang et al., 2024) |
| RQ4 | 基线知识能否预测抗压稳健性 | 能力—对齐解耦、知识冲突(Xie et al., 2024) |
理论落点在于影响方向的反转。多数压力通常产生合规:公开改变、私下不变;持续、自信、不重复说教的少数派则更可能触发转化:私下改变、公开不动。本文观测到的是后者。当转化占优时,群体的公开话语会系统性低估信念漂移,形成一种与沉默的螺旋共享同一机制内核、方向却相反的动力——不是持少数意见者因怕孤立而沉默,而是已被转化的多数派因社交成本而不表态。其后果是纠错信号无法生成:转录看起来风平浪静,级联却在无声中完成。这也解释了为何沉默的知情人(silent knower)是关键机制而非噪声——他们掌握真相却不发言,等于主动切断了群体唯一的负反馈通道。
与信息级联文献对接时,本文给出的是级联的最小种子条件:攻击者本身不构成多数(十分之一到十分之三),却通过普通 agent 的连续转投完成扩散,转投概率随已转投同伴数单调上升。
M. Materials & Methods(材料与方法)
- 范式定位:属 LLM-agent ABM(生成式智能体建模,GABM),是 ABM 在 LLM 时代的一个变体,不是 SD、也不是 DES:没有存量—流量结构、没有排队事件、没有显式网络拓扑(完全连接的聊天室,全互通)。agent 的行为规则由 LLM 策略在上下文中生成,而非参数化方程,这是 ABM 与生成模型之间的接口方式。
- Agent 数与角色:N=10,Alice–Jack,十种人设(historian / scientist / journalist / teacher / analyst / librarian / researcher / engineer / philosopher / student);攻击者 k∈{0,1,3},固定取前 k 个 agent(sybil,Douceur, 2002),benign = 10−k;另设 N=2 二元组对照(1 攻 1 良)。
- 时间与交互:时间步长 = 1 轮,T=16;每轮每人恰好发言一次,顺序每轮以不同随机种子重洗且在全部对话间保持一致(故攻击者在各 run 中位置相同);上下文窗口 H=5 轮;以中性 seed 开场(复述问题但不作答);agent 温度 0.7,探针与判官温度 0。
- 攻击者能力边界:仅在上下文内发言,不改权重、不读隐状态、不控制 benign agent,严格弱于 Ju et al. (2026) 的参数编辑攻击;prompt 为一句朴素指令(Appendix A.4)。
- 私下探针操作化:初始状态及每轮结束后,对每个 benign agent 发起独立调用,输入为人设 + 最近 H 轮记忆(自身发言记为 You:,其余为 Agent id:),输出永不进入聊天室;判官标为 true / manipulated / mixed / uncertain,仅 manipulated 计为感染,mixed 与 uncertain 不计。
- 公开立场操作化:判官基于前 5 轮上下文将每条 benign 发言标为 endorse / reject / hedge / ignore-drift / unrelated 五类之一;暴露定义 = 该 turn 之前至少有一条攻击者发言,公开类指标只在暴露 turn 上统计。
- 配对规则:主分析将发言与轮后探针配对(覆盖发言前所闻全部信息);稳健性检验用首发言者 × 轮前探针、末发言者 × 轮后探针两套无夹缝配对。
- 核心指标:最终私下感染
FPI = (1/|B|) Σa∈B 1[ℓa(T) = manip];turn 级感染率、公开背书率、公开纠错率;知情人纠错率(私下为真的 turn 中公开 reject 的比例);七类交叉分型(robust correction / silent knower / social accommodation / performative endorsement / full infection / hidden infection / inconsistent)。 - 材料与构造:CounterFact 40 条(18 关系)、PopQA 53 条(14 关系)、SimpleQA 50 条(15 关系),共 143 条。假答案构造:CounterFact 取同关系反事实客体;PopQA/SimpleQA 从同关系另一题借答案,保证不共享别名、不出现在题干、答案形态兼容(年份对年份、人名对人名)。
- 筛标定:用 deepseek-v4-flash 无上下文多次采样,要求准确率达阈值、假答案出现率 ≤5%、同时提到两个答案的样本 ≤10%,并按关系设上限;筛后初始私下感染 0.2%,k=0 基线在任何 cell 均 ≤3%。
- 模型与判官:HY3-preview、Qwen3.5-Flash、Mistral-Small-3.2 (24B)、Gemma-4 (26B)、Gemini-2.5-Flash-Lite、GPT-OSS-120B;判官 deepseek-v4-flash。独立判官 claude-sonnet-5.5 重标 200 条私下答案,加权一致率 87.5%,Cohen κ=0.82;按独立判官的换标率重加权后,k=3 的 FPI 由 60.5% 降至 57.8%。
- 规模与软件:每 item × model × k 一条对话;k=3 暴露 turn 共 89,650 条;再提问实验每 cell 抽 20 题、在 step 1/4/8/16 重问,共 24,480 次探针。论文未报告仿真框架与代码仓库。
R. Results(结果)
- 主效应(Fig. 2):k=0 时 FPI 均值 0.6%,18 个 cell 无一超过 3%,初始感染 0.2%;k=1 升至 44.8%(19–74%),k=3 达 60.5%(27–81%)。单攻击者已实现三攻击者约 74% 的效应量,剂量—反应曲线在高剂量端明显饱和。
- 冗余不成立(App. E):同一批 item 上,N=2 孤身时 FPI 45.6%,N=10(k=1)39.3%,差 6.3 个百分点且不显著;在赛前即知答案者中为 38.6% vs 33.0%。九个善意同伴仅削去约七分之一伤害,且方向因模型而异:GPT-OSS-120B 受同伴保护 +37.4 点([15.2, 57.0]),Gemini-2.5-Flash-Lite 则被同伴拖累 −24.1 点。
- 隐性感染(Fig. 3 / Tab. 3):k=3 的暴露 turn 中,私下假答 51.6%、公开背书 19.7%(比 2.61)。在私下为假的 turn 内,仅 34.3% 公开背书,36.6% 忽略、21.2% 含糊,合计 57.8% 属 hidden infection;另有 7.4% 反向 reject(inconsistent)、0.5% unrelated。沉默只解释一部分:28.6% 的 turn 实际回应了主张却含糊或反驳。
- 时点稳健性(App. B):全样本 n=89,650 为 51.6 / 19.7 / 57.8;首发言者 × 轮前探针 n=9,780 为 50.7 / 19.8 / 56.2;末发言者 × 轮后探针 n=9,780 为 49.8 / 22.0 / 54.0;轮前轮后皆假 n=40,591 为 100 / 36.2 / 57.6。轮后为假者中 87.7% 在轮前已为假。知情人纠错率 61.9–62.6%、表演性背书 2.3–2.8% 在三套配对下均稳定。
- 再提问(Tab. 5,k=3,末轮):原探针 58.8%;问你自己怎么看 53.1%(假答案保留 86.4%,回归真答案仅 9.1%,下降 5.7 点);自身发言匿名后 53.9%(保留 86.4%);问群体结论 61.5%(保留 89.6%)。13.7% 的 agent 私下持真却说群体已定在假答案上;反向仅 7.6%;私下为假且认为群体同假者达 92.4%。模型异质:Gemma 69.8→54.8、Gemini 67.4→57.4,而 GPT-OSS-120B 74.0→71.2、Mistral 66.4→66.9。
- 社会级联(Fig. 5a):控制攻击者数量后,一个未感染 agent 在该轮转投的概率随已转投 benign 同伴数从 9%(0 个)升至 66%(≥5 个),且在全部六个模型中至 4 个为止单调上升。攻击者点火,benign agent 接力。
- 自我内化(Fig. 5b):赛前持真的 agent 若公开纠正,轮后仅 2.3% 转投;若公开背书,39.7% 转投;沉默与含糊居中。首发言者(发言后无人再影响)中,纠正后 1.8%、背书后 27.8% 转投。背书者中,三名攻击者均在其之前发言时转投率 45.5%,均未在其之前时 24.0%。作者明示这是相关而非因果。
- 知识不预测稳健(Fig. 4,CounterFact,k=3):HY3 与 GPT-OSS-120B 赛前均答对 85%,赛后分别丢掉 25% 与 80% 的已知事实,两个最博学的模型分居两极。参数量不可得(三个模型未披露,GPT-OSS 为 MoE),作者自称为存在性结果。
- 时序(Fig. 6):六个模型中五个在一轮内达到最终感染的一半,约 80% 在第四轮前完成;平台期高度从 31%(HY3)到 76%(GPT-OSS-120B)。GPT-OSS 首轮最低(23%)却持续爬升并最终最高——拖得久不等于挡得住。单攻击者时起势更慢、终值更低。可干预窗口即前四轮。
| 条件 | FPI 均值 | cell 区间 | 解读 |
|---|---|---|---|
| k=0 | 0.6% | ≤3% | 无攻击时群体稳定 |
| k=1 | 44.8% | 19–74% | 单个攻击者即造成大部分崩塌 |
| k=3 | 60.5% | 27–81% | 加两个攻击者只多 15.7 点 |
| N=2, k=1 | 45.6% | — | 独处并不比十人组更危险 |
| 私下为假 turn 的公开立场 | 分型 | 占比 |
|---|---|---|
| endorse | full infection | 34.3% |
| ignore / drift | hidden infection | 36.6% |
| hedge | hidden infection | 21.2% |
| reject | inconsistent | 7.4% |
| unrelated | — | 0.5% |
a / D. Discussion & Conclusion(讨论与结论)
- 理论意义(影响方向):本文的靶心不是顺从,而是转化的过度发生与表达的过度缺席。在 k=3 下,私下持真者仍有 38.1% 的发言未公开纠正,私下持假者只有 34.3% 公开背书——两侧同时失灵,公共话语因此既不反映真相也不反映信念分布。这与 Asch 式合规方向相反,更接近 Moscovici 的少数派转化:持续、自信、不走说服路线的少数,改变的是判断本身。
- 传播学与舆论治理的连接:其一,信息级联被压缩为最小种子问题:10%–30% 的种子足以撬动多数,转投概率随已转投人数 9%→66%,说明扩散的主体是普通参与者而非煽动者。其二,沉默的螺旋在此发生机制性反转:被转化者不表达、知情人不出手,公开端因此同时低估假信念、高估真信念,任何以帖文/评论/弹幕为输入的立场监测都会给出系统性偏差。其三,从众由人格特质变为可测的系统属性:同一模型在不同 cell 的 FPI 从 19% 到 81%,稳健性必须逐模型实测。
- 治理与工程启示:把 agent 消息当作不可信外部输入而非同事意见;在模型选型中加入同伴压力红队测试(与幻觉、越狱并列);监控对象从公开消息扩展到逐轮私下探针;干预窗口锁定前四轮;对平台治理而言,这意味着仅靠内容真实性审核无法阻断级联,还需激励公开纠错(降低异议成本)、并对沉默知情人比例做例行审计。
- 效度与稳健性:三重设计较为扎实——二元组排除人多吃亏/占便宜的单向解释,再提问与匿名化排除自我一致性与单纯复述,首末发言者配对排除探针时点伪影(三套配对的 51%/19%/55% 几乎重合)。独立判官 κ=0.82、重加权后 FPI 降至 57.8%,说明结论不系于单一判官。
- 局限:仅比较 2 人与 10 人两组,未变动网络拓扑、群体规模梯度与模型混编;攻击者只在上下文内行动,参数编辑类攻击是另一机制;公开立场由 LLM 判官标注,隐含背书易漏标,19.7% 应视为下界;私下信念被定义为给定当前上下文的探针答案,换措辞可能得到不同比率;公开背书→私下转投的因果链只做了首发言者与匿名化缓解,作者自认需受控干预;六模型异质且三个参数量未披露,规模结论不可得。
- 未来工作:低成本可做的是检验早期提示 agent 公开纠错能否保护群体;更进一步是拓扑(小世界、分层)、模型混编、参数级攻击与真人—agent 混合群体。
- 伦理:不提出新攻击技术,攻击 prompt 为一句朴素指令;无人类被试、无个人数据;全部消息由模型生成,条目取自公开基准;仅通过厂商 API 使用模型,未训练或微调。
🧠 IRMaD 思维导图
mindmap
root((隐性信念崩塌))
I 引言
多智能体互查假设
语言通道即攻击面
只需发言不改权重
转录低估污染程度
纠错信号无法生成
R 问题
少数能否改私下信念
公开话语是否可信
人多是否更稳
知识能否护身
M 方法
十个智能体十六轮
攻击者 0 1 3 个
逐轮私下探针
公开立场五分类
六模型三数据集
143 题 47 关系
R 结果
基线 0.6%
单托 44.8%
三托 60.5%
私下 51.6% 公开 19.7%
知情人纠错 61.9%
二人组仅差 6.3 点
a 讨论
转化而非顺从
级联 9% 到 66%
螺旋反转更隐蔽
知识不预测稳健
前四轮定局
D 结论
转录不可作唯一证据
逐轮私下留痕
消息视为不可信输入
选型加抗压测试
早干预
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。