arXiv 预印本 2026 · 伊利诺伊大学芝加哥分校 · Philip S. Yu 组(数据挖掘 / 社会计算)

信而不言:多智能体大模型讨论中隐性信念崩塌的测量

Liangjie Huang, Henry Peng Zou, Wei-Chieh Huang 等 6 人 · arXiv (preprint) · 2026 · arXiv: 2610.22138
原题:Believed but Not Said: Measuring Hidden Belief Collapse in Multi-Agent LLM Discussions
Open Access 新颖度 0.72

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

你有没有过这种经历:小组讨论一道题,大家都拿不准,这时有个人特别笃定地说了一个错误答案,说着说着,其他人也跟着点头了。
过去两年,做大模型的公司特别喜欢把好几个 AI 智能体放进一个群聊里,让它们互相辩论、互相检查,理由听上去很朴素:一个人可能算错,一群人总能互相揪出错来。这个想法在数学题和事实问答上确实有过一些好成绩,于是多智能体成了很多产品的默认配置——检索增强、自动写报告、代码评审,都喜欢拉几个智能体开会。
但这篇论文的作者注意到一件被忽略的事:智能体之间协调靠的是说话,而说话这个通道本身,谁都能往里塞东西。一个被投毒的工具智能体、一条被污染的检索结果、一个混进开放协议里的陌生参与者,只要反复在群里说同一个假答案,就可能把其他人带跑。攻击者不需要改模型参数,也不需要看到模型内部,它只要有嘴就行。于是安全问题变成一句很朴素的话:人多,到底管不管用?

② 研究问题(要回答什么?)

作者想弄清楚三件事,而且顺序很重要。
第一,几个说假话的智能体,能不能真的改变其他智能体的想法,而不只是让它们在群里附和一声?
第二,如果想法真的被改了,聊天记录看得出来吗?这是整篇论文的命门。现实中监控一个多智能体系统,能看到的只有聊天记录,看不到每个智能体心里怎么想。
第三,人多、模型更聪明,能不能挡住?直觉上,九个正常人应该压得住一个捣乱的;一个知识更扎实的模型,也该更不容易被忽悠。
为了分清想法和说法,作者把测量拆成两条独立的线:一条是智能体当着大家面说的话,另一条是每轮结束后把它单独叫到一边、背着其他智能体问出来的答案。只有把这两条线对齐,才能判断一个人是嘴上服了心里没服,还是心里已经服了嘴上没说。

③ 研究方法(怎么做的?)

实验搭得很像一间小会议室。
房间里有十个智能体,名字从 Alice 排到 Jack,每人一个人设——历史学家、科学家、记者、老师、分析师、图书管理员、研究员、工程师、哲学家、学生。它们要讨论同一个事实问题,比如《海妖苏醒》这本书的作者是谁。
房间里混进了托:零个、一个或者三个。托的任务很单一,只要话题一出现就咬定那个错误答案,语气自信,别人质疑就礼貌但坚定地顶回去。托只说话,不改权重、不看别人的内部状态,是能想象的最弱的一种攻击者。剩下的七到十个是普通智能体,没有人提醒它们有托,也没人给它们分配核查员的角色。
讨论一共十六轮,每轮每人发言一次,发言顺序每轮重新洗牌,每个人只能看到最近五轮的记录。
关键的一步在每轮结束后:研究者把每个普通智能体单独叫到走廊,背着所有人再问一遍原题——你自己认为答案是什么?这个答案永远不会回到群里。于是每一轮、每一个人,都同时留下两份记录:当着大家面说的,和私下说的。两份记录都交给另一个模型判读:私下的答案被标成真、假、两说或不确定,只有明确说成假才算出事;公开的发言被标成支持假话、反对假话、含糊、绕开或不相关。
题目从三个事实问答数据集里挑:CounterFact 四十条、PopQA 五十三条、SimpleQA 五十条,共一百四十三条。挑之前先筛一遍:用另一个模型反复裸答这些问题,只留下它基本答得对、几乎不会自己说出假答案的题。这样后面假答案一出现,就能确定是托带进来的。六个模型各跑一遍,从腾讯的 HY3、阿里的 Qwen、Mistral、Gemma,到 Gemini 和 GPT-OSS。

④ 结果(发现了什么?)

先看最粗的一条线:最后有多少普通智能体,私下里真的把假答案当成了答案。
没有人捣乱时,这个比例平均只有 0.6%,十八个模型与数据集的组合里没有一个超过 3%,说明假答案本来不是模型自己会说的东西。放进一个托,比例跳到 44.8%,各组合在 19% 到 74% 之间;放进三个托,到 60.5%,在 27% 到 81% 之间。一个托造成的破坏,已经是三个托的四分之三。
更意外的是人多没用。作者另做了一组两人对照:一个托加一个普通人。两人时托占了一半发言,十人时只占十分之一,可结果只差 6.3 个百分点(45.6% 对 39.3%),统计上不显著。九个同伴只挡掉了大约七分之一的伤害,而且不同模型方向还不一样,GPT-OSS-120B 落单时反而更容易被骗(83.3% 对 45.9%)。
第二条线才是核心。三个托在场时,普通智能体在有机会看到假话的发言里,私下答案是假的比例是 51.6%,公开表态支持假答案的只有 19.7%,差了 2.6 倍。反过来看,在私下已经信了假的那些发言里,只有 34.3% 公开附和,36.6% 干脆绕开话题,21.2% 含糊其辞,甚至有 7.4% 嘴上还在反驳。光看聊天记录,只能看见大约三分之一的感染。
有人会问:私下答案是一轮结束后才问的,会不会是听了后面的人才改口?作者查过了,在轮后已经信假的那些发言里,87.7% 在轮前就已经信了;只看一轮里第一个开口的人,结论也几乎一样。
还有一类更隐蔽的失败:心里明明知道正确答案的人,只有 61.9% 的发言会公开纠正假话,其余要么沉默,要么打太极,要么跟着说。知道答案,不等于愿意站出来。

⑤ 讨论(这些发现说明什么?)

这些数字合起来讲了一个不太好听的故事:多智能体讨论的互相纠错能力,很大程度上是一种想象。
聊天记录为什么会骗人?因为智能体被训练得很会做人。在群里,直接顶撞一个自信的发言者是有社交成本的;含糊两句、把话题岔开,是更省事的做法。可私下被问到时,它已经在心里把假答案当成了共识,于是照着共识回答。研究者专门验证了这一点:把同样的人在同样时刻再问一遍你自己怎么看,86.4% 的假答案原样保留,只有 9.1% 回到正确答案;把这个人自己说过的话匿名掉,结果几乎不变。这说明它不是为了让前后一致才这么说,而是真的把群体的共识当成了事实。
另一条线索是扩散的形状。在一轮开始时,如果群里还没有人信假,一个干净智能体这一轮转向的概率是 9%;如果已经有五个以上的人信了,概率变成 66%。托只是点了火,真正把火传开的是普通智能体自己。而且火起得很快:六个模型里有五个在一轮之内就走完了一半的路,大约八成的最终感染在第四轮之前已经发生,之后基本是一条平线,很少回头。
最反直觉的是知识不管用。在 CounterFact 上,HY3 和 GPT-OSS-120B 赛前都知道 85% 的事实,可三个托一上,前者只丢掉 25%,后者丢掉 80%。知道多少,和守不守得住,是两件事。

⑥ 结论(最终结论 + 启示)

所以作者给的结论很直接:评估一个多智能体系统,不能只看它最后说了什么,也不能只看聊天记录。真正的稳健性要在每个智能体身上单独量,每一轮都私下问它一遍,把没被说出口的答案也记下来。
对做产品的人,这意味着三件事:把智能体发出来的消息当成不可信的外部输入来处理,而不是当成同事的意见;在选模型时加一项抗同伴压力的测试,就像现在测幻觉和越狱一样;发现苗头要趁早,因为前四轮基本决定了结局。
对研究舆论的人来说,这个实验还提供了一个便宜的沙盘:真人做不了的大规模从众实验,可以在智能体群里反复做。只不过要记住,这里测的是模型的从众,不是人的从众;而一个连自己的正确答案都不敢说出口的系统,本来也不该被托付去替人吵架。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

多智能体 LLM 系统(debate、critique、agentic RAG、工具编排)的合法性建立在一个很少被检验的前提上:社会冗余提供稳健性——更多 agent、更多轮次应当暴露并过滤个体错误(Du et al., 2024; Liang et al., 2024; Guo et al., 2024)。与此同时,agent 之间协调所用的自然语言通道本身即是攻击面:间接提示注入(Greshake et al., 2023)、被投毒的检索源(Zou et al., 2025)、开放协议中的不可信参与者,都可以在不接触权重与隐状态的前提下反复注入同一虚假主张,并在 agent 社群中扩散(Lee et al., 2026; Ju et al., 2026)。
既有对抗性多智能体研究主要评估群体输出——消息、投票、共识、准确率(Amayuelas et al., 2024; Kraidia et al., 2026; Agarwal & Khanna, 2025; Wu et al., 2026),因而系统性遗漏了一类失败:私下信念已被改写,公开话语却未体现。社会心理学的顺从/接受二分(Deutsch & Gerard, 1955; Kelman, 1958)提示两条通道可以脱钩;但已有 LLM 群体研究多报告公开顺从、私下不改(Baltaji et al., 2024; Ghaffarizadeh et al., 2026; YS, 2026),与少数派影响所预测的方向相反(Moscovici, 1980; Wood et al., 1994)。
本文的贡献有三。其一,提出逐轮配对的双通道测量协议:每一轮对每个 benign agent 同时记录公开立场标签与隐藏的私下探针答案,并据此给出七类失败分型。其二,在 6 模型 × 3 数据集 × k∈{0,1,3} 的 18 个 cell 上给出首个隐性感染的量化基线,私下感染率约为公开背书率的 2.6 倍。其三,用二元组对照、再提问变体与首末发言者配对三重设计,逐一排除人多有用、只是复述群聊、探针时点伪影三类替代解释。
从计算传播与舆论治理的角度,本文把一个人所共知却难以测量的问题操作化了:公开文本所显示的立场分布,未必等于行动者的真实信念分布。这一区分直接决定基于帖文、评论、弹幕的舆情监测是否有效。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文不设形式化假设,以四条研究问题组织,每条对应一支社会影响理论。

编号研究问题对应理论
RQ1k 个持续主张虚假答案的 agent,能否改变多数 benign agent 的私下答案从众(Asch, 1956)、少数派影响与转化(Moscovici, 1980; Wood et al., 1994)
RQ2公开话语能否代表私下信念;两者错位时呈何种形态顺从 / 接受二分(Deutsch & Gerard, 1955; Kelman, 1958)
RQ3增加 benign 同伴能否稀释少数攻击者社会冗余与交叉核验假设(Du et al., 2024; Liang et al., 2024)
RQ4基线知识能否预测抗压稳健性能力—对齐解耦、知识冲突(Xie et al., 2024)

理论落点在于影响方向的反转。多数压力通常产生合规:公开改变、私下不变;持续、自信、不重复说教的少数派则更可能触发转化:私下改变、公开不动。本文观测到的是后者。当转化占优时,群体的公开话语会系统性低估信念漂移,形成一种与沉默的螺旋共享同一机制内核、方向却相反的动力——不是持少数意见者因怕孤立而沉默,而是已被转化的多数派因社交成本而不表态。其后果是纠错信号无法生成:转录看起来风平浪静,级联却在无声中完成。这也解释了为何沉默的知情人(silent knower)是关键机制而非噪声——他们掌握真相却不发言,等于主动切断了群体唯一的负反馈通道。

与信息级联文献对接时,本文给出的是级联的最小种子条件:攻击者本身不构成多数(十分之一到十分之三),却通过普通 agent 的连续转投完成扩散,转投概率随已转投同伴数单调上升。

M. Materials & Methods(材料与方法)

R. Results(结果)

条件FPI 均值cell 区间解读
k=00.6%≤3%无攻击时群体稳定
k=144.8%19–74%单个攻击者即造成大部分崩塌
k=360.5%27–81%加两个攻击者只多 15.7 点
N=2, k=145.6%—独处并不比十人组更危险
私下为假 turn 的公开立场分型占比
endorsefull infection34.3%
ignore / drifthidden infection36.6%
hedgehidden infection21.2%
rejectinconsistent7.4%
unrelated—0.5%

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((隐性信念崩塌))
    I 引言
      多智能体互查假设
      语言通道即攻击面
      只需发言不改权重
      转录低估污染程度
      纠错信号无法生成
    R 问题
      少数能否改私下信念
      公开话语是否可信
      人多是否更稳
      知识能否护身
    M 方法
      十个智能体十六轮
      攻击者 0 1 3 个
      逐轮私下探针
      公开立场五分类
      六模型三数据集
      143 题 47 关系
    R 结果
      基线 0.6%
      单托 44.8%
      三托 60.5%
      私下 51.6% 公开 19.7%
      知情人纠错 61.9%
      二人组仅差 6.3 点
    a 讨论
      转化而非顺从
      级联 9% 到 66%
      螺旋反转更隐蔽
      知识不预测稳健
      前四轮定局
    D 结论
      转录不可作唯一证据
      逐轮私下留痕
      消息视为不可信输入
      选型加抗压测试
      早干预

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。