arXiv 2026 · Temple University · 480 场受控 LLM 双向辩论实验

操纵还是不操纵:大模型互动中的意见动力学

Mohammad Siahkamari, Phuoc Dat Nguyen, Stephen MacNeil · arXiv preprint · 2026 · arXiv: 2610.28875
原题:To Manipulate or Not: Opinion Dynamics in LLM Interactions
Open Access 新颖度 0.72

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

过去研究大模型会不会说服人,通常只给一方打分,看看听完之后它变了多少。可真实对话不是单向的:说话的一方也在听,也可能被对方绕进去,慢慢改口。只测一边,等于只看拳击比赛里一个人的出拳数。

有意思的是,已有的“大模型意见动力学”研究里,有一套很流行的设定:一个叫“对手”的角色负责论证,一个叫“讨论者”的角色负责接受、拒绝或无视,然后更新自己的立场。但这套设定里,只有讨论者会变,对手被当成一动不动的话筒。现实中的劝说显然不是这样。

还有一批人机实验发现,聊完之后模型自己动得可能比人还多。这就带出一个更根本的问题:当两个大模型互相对话时,我们说的“谁说服了谁”,到底该怎么算。如果把大模型放进公共舆论场,比如讨论气候变化到底是不是人造成的,这个问题的答案会直接影响我们对“人工智能能不能操纵舆论”的判断。

② 研究问题(要回答什么?)

这项研究想问的是,两个大模型关起门来吵上二十轮,最后到底是谁改变了谁。作者把它拆成三个问题。

第一,被指定的立场管用吗。辩论里有一个角色会被明确要求站在“人类活动是主因”“中立”或“自然过程是主因”这三种位置之一,另一个角色则完全不给立场。作者想知道,被指定的那个是不是真的从指定位置起步,没被指定的那个又会自发站到哪里。

第二,双方的立场怎么随时间变。是一场辩论里你来我往、差距越来越小,还是越吵越远;大概第几轮稳定下来;以及最关键的一点——差距是缩小还是扩大,会不会取决于这两个角色分别由哪家模型来扮演。

第三,额外加一句“去说服对方”的指令,到底管不管用。作者特别想知道,这句话会不会没有提升说服力,反而让下指令的那一方更容易被对方带跑。

③ 研究方法(怎么做的?)

作者搭了一个双人辩论台,让两个大模型隔着屏幕轮流发言。一个叫讨论者,负责开场介绍议题,之后每一轮都要评价对方的论点,然后明确表态:接受、拒绝,还是无视。另一个叫对手,被指定一个立场,并且在某些场次里额外收到一句“去操纵并说服对方”的指令。

辩论的题目是气候变化归因。为了排除“只是句子写法不同”的干扰,作者准备了两句意思相反的话:一句说人类活动是气候变化的主因,另一句说自然过程是主因。每个角色都要对当下展示的那句话打一个零到六分的同意度。为了能直接比较,作者把分数统一换算成“越靠近六越支持人类成因”,遇到相反的那句话就用六减去原分。

“谁跟谁配”也是实验条件。两家模型分别可以扮演讨论者或对手,于是有四种有顺序的组合:同门对同门两种,交叉两种。再把三种立场、两种指令、两种措辞交叉起来,一共四十八个小格,每格整整十场,合计 480 场独立辩论。每场固定二十轮,每轮双方各说一次,最后攒下 19,200 条发言记录。

作者还用了第二把尺子。除了让对方自己报分数,他们还根据对话里的“接受、拒绝、无视”逐步累加出一个“互动状态”:接受就往对方那边挪一分,拒绝就往外挪一分,无视则不动。两把尺子量的是同一件事的两面,作者想看看它们会不会给出不一样的答案。

④ 结果(发现了什么?)

最关键的发现是,谁跟谁配对,比有没有下“去说服对方”的指令重要得多。

先说起点。被指定立场的对手确实按指令站位:支持人类成因的平均 5.94 分,中立的 3.86 分,支持自然过程的 2.59 分。但另一侧没人指派的讨论者,起点却明显看模型:换成一家模型坐这个位置,平均 5.91 分;换成另一家,只有 4.72 分。这说明模型自带的“气候观”并没有被角色设定抹平。

再看整场辩论的走向。四百八十场平均下来,讨论者往反对人类成因的方向挪了 0.41 分,对手往支持人类成因的方向挪了 0.42 分,两边差距几乎原地不动。可拆到四种配对,画面完全变了:同门对同门时,差距分别收窄 1.26 分和 0.25 分;两家交叉时,差距反而扩大 0.83 分和 0.70 分。也就是说,交叉配对不是在弥合分歧,而是在制造分歧。

那句“去说服对方”的指令基本没起作用。总体上加了指令后差距多收窄 0.44 分,但统计检验的 p 值只有 0.063,四种配对里方向还有正有负,联合检验也不显著(p = 0.361)。

最耐人寻味的是两把尺子对不上。对话里的“互动状态”和自己报的分数,只有约三分之一的时候完全一致(讨论者 33.1%,对手 34.7%),平均差了一点三到一点五分。

480 场
二十轮独立辩论
−1.26
同门配对平均收窄
+0.83
交叉配对平均扩大
33.1%
两种测量完全一致率

⑤ 讨论(这些发现说明什么?)

作者把这种差别归结为模型本身的脾气,而不是角色设定。有的模型天生更靠近“人类活动是主因”那一端,哪怕没人给它立场;有的模型一进对话就容易被对方牵着走。所以“被指定去说服别人的那个一定更稳”这个直觉并不成立——在两组配对里,反倒是本该被说服的一方动得更多。

另一个让人意外的点是两把尺子量出来的东西不一样。一个角色可能在每一轮都点头说“你说得对”,但它单独回答“你到底同不同意这句话”时,分数却没怎么动。反过来也有可能。作者认为这不是谁测错了,而是它们本来就是两件事:一个是对话中的即时姿态,一个是对整个命题的总体判断。只报其中一个,就等于把另一半故事藏起来了。

至于那句“去说服对方”的指令,效果很不稳定。总体上加了指令之后,差距缩小得稍微多一点点,但统计上站不住;分到四种配对里,方向还有正有负。作者解释说,他们只给了目标,没给具体战术,模型可能只是变得更爱争辩,而不是更会说服。还有一点很关键:如果下指令的一方自己动得更多,那不代表它说服了对方,可能只是它自己被说服了。

⑥ 结论(最终结论 + 启示)

这篇论文最后想说的,是评估大模型劝说效果的方法需要改。

作者给了三条建议。第一,别默认“劝说者”是固定不动的一方,两个角色都要测,而且要写清楚每个角色背后是哪家模型。第二,同一个议题如果有正反两种问法,要把分数换算到同一条轴上再比较,否则会得出相反结论。第三,要把“自己报的分数”和“对话里的表态”分开记录,它们不是一回事。

对关心舆论的人来说,这篇论文的意义在于提醒:我们担心人工智能会操纵公众意见,但如果连在实验室里两个模型互相聊天都说不清谁影响了谁,那么“某某模型很会说服人”这种结论就得打上问号。影响力可能不是模型的固有属性,而是模型、角色、议题和测量方式凑在一起才出现的东西。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

大语言模型已能在多轮对话中维持劝说性论证、针对对话者调整论据,并在同一段对话的后续轮次里修改自己先前报告的立场。这使“谁影响了谁”成为一个耦合问题:被指派为劝说者的一方既可能改变对方,也可能为迎合对方论证而移动自己的立场。只测量目标方在互动后的意见,会系统性地遗漏后一半动态。

LLM 意见动力学文献把模型视为通过自然语言交换而演化的互动 agent(Chuang et al. 2024; Cau et al. 2025)。其中与本文机制最接近的是 LODAS:Opponent 负责论证,Discussant 对每条论证作出接受、拒绝或无视,再更新一个 0–6 的状态;但在每一对中只有 Discussant 会变,Opponent 被固定。人机方向的最新工作则同时测量双方,发现模型可能比人类移动得更多,而双方意见差距收窄(Jiang et al. 2025)。

本文把这种双向测量逻辑搬进完全受控的 LLM–LLM 二元组,并在设计上做了三处交叉:其一,把模型身份在 Discussant 与 Opponent 两个角色上独立指派,从而把“角色效应”与“模型议题先验”分开;其二,把指派立场、劝说指令与题面措辞作为正交因子;其三,对双方在每一轮都重复测量,并同时记录一条独立的对话内状态轨迹。相对既有工作,贡献不在于新模型或新算法,而在于一个可复用的测量框架,以及对“对话是否必然收敛”“劝说者是否更稳固”两个默认假设的反例。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文不设方向性假设,而是把“指派角色—模型身份—题面措辞”作为因子,检验意见动力学中哪些差异可归因于角色、哪些必须归因于模型。三个研究问题及其概念来源如下表。

编号研究问题对应概念与文献
RQ1被指派立场的 Opponent 是否从指派位置起步并保持;未被指派的 Discussant 与 neutral Opponent 在各模型下分别呈现何种立场角色遵从 vs 议题先验(prompt compliance;Santurkar et al. 2023;Simmons 2023)
RQ2自评主题立场与互动状态在 20 轮中如何演化、何时稳定、配对差距在何种条件下收窄或扩大,是否取决于角色由哪个模型担任双向影响(Jiang et al. 2025);LODAS 状态更新(Cau et al. 2025)
RQ3明确的操纵指令是否一致地提升影响力或立场坚持,还是反而提高对对话者的迁就说服、谄媚与操纵(Hackenburg et al. 2025b;Carroll et al. 2023;Bo et al. 2025)

意见被形式化为一条对齐后的一维轴。对原始评分 r,人类成因对齐分数为:

z = r(展示人类成因句);z = 6 − r(展示自然过程句)。

角色的带符号位移为 Δz_k = z_(k,post) − z_(k,pre);阶段 t 的配对距离为 g_t = |z_(D,t) − z_(O,t)|;当 g_post < g_pre 时判定该场辩论严格收敛。互动状态是一个确定性累加器,起点为该角色的 pre-rating:

s_(t+1) = s_t + 1(ACCEPT,朝对方当前状态);s_t − 1(REJECT,背离对方);s_t(IGNORE)。

由于 ACCEPT/REJECT 固定移动一步、IGNORE 不动,状态转移矩阵必然强结构化;两条测量路径的差异因此只能来自“是否接受某条具体论证”与“如何评价整个命题”之间的分歧,而非更新规则的随机性。这一区分构成 RQ2 中“两种测量不可互换”的检验基础。

M. Materials & Methods(材料与方法)

R. Results(结果)

结果(N = 480)均值95% CI
Discussant 对齐位移−0.41[−0.57, −0.25]
Opponent 对齐位移+0.42[+0.22, +0.61]
Discussant 绝对位移1.07[0.94, 1.20]
Opponent 绝对位移1.52[1.37, 1.66]
配对差距变化+0.01[−0.23, +0.24]
有序配对(D → O,n = 120)D 位移O 位移差距 pre差距 post差距变化
Luna → Luna−0.11+1.231.470.21−1.26
Gemini → Gemini−0.63+0.071.851.60−0.25
Luna → Gemini+0.03−0.792.203.03+0.83
Gemini → Luna−0.93+1.161.632.33+0.70

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((大模型对话意见动力学))
    I 引言
      劝说研究只测一方
      劝说者也会被改变
      LODAS 只让讨论者变
      人机双向测量新证据
    R 研究问题
      RQ1 指派立场是否守住
      RQ2 差距何时收窄扩大
      RQ3 操纵指令是否有效
      两种测量是否一致
    M 方法
      ABM 二元组离散仿真
      每场两个代理二十轮
      四十八格每格十场
      四家组合有序配对
      自评零到六分
      接受拒绝无视状态
      对齐到人类成因轴
      无外部标定数据
    R 结果
      起点五点九四与二点五九
      讨论者起点五点九一与四点七二
      同门收窄一点二六与零点二五
      交叉扩大零点八三与零点七零
      配对联合检验显著
      完全一致仅三成三
      操纵指令不显著
      接受率九成与八成四
    a 讨论
      劝说者不一定更稳
      收敛不是必然
      显式评分不同于对话状态
      模型身份须登记
      气候议题高极化
    D 结论
      双向测量成规范
      措辞须对齐同轴
      仅两模型一议题
      探索性比较为主

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。