🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
过去研究大模型会不会说服人,通常只给一方打分,看看听完之后它变了多少。可真实对话不是单向的:说话的一方也在听,也可能被对方绕进去,慢慢改口。只测一边,等于只看拳击比赛里一个人的出拳数。
有意思的是,已有的“大模型意见动力学”研究里,有一套很流行的设定:一个叫“对手”的角色负责论证,一个叫“讨论者”的角色负责接受、拒绝或无视,然后更新自己的立场。但这套设定里,只有讨论者会变,对手被当成一动不动的话筒。现实中的劝说显然不是这样。
还有一批人机实验发现,聊完之后模型自己动得可能比人还多。这就带出一个更根本的问题:当两个大模型互相对话时,我们说的“谁说服了谁”,到底该怎么算。如果把大模型放进公共舆论场,比如讨论气候变化到底是不是人造成的,这个问题的答案会直接影响我们对“人工智能能不能操纵舆论”的判断。
② 研究问题(要回答什么?)
这项研究想问的是,两个大模型关起门来吵上二十轮,最后到底是谁改变了谁。作者把它拆成三个问题。
第一,被指定的立场管用吗。辩论里有一个角色会被明确要求站在“人类活动是主因”“中立”或“自然过程是主因”这三种位置之一,另一个角色则完全不给立场。作者想知道,被指定的那个是不是真的从指定位置起步,没被指定的那个又会自发站到哪里。
第二,双方的立场怎么随时间变。是一场辩论里你来我往、差距越来越小,还是越吵越远;大概第几轮稳定下来;以及最关键的一点——差距是缩小还是扩大,会不会取决于这两个角色分别由哪家模型来扮演。
第三,额外加一句“去说服对方”的指令,到底管不管用。作者特别想知道,这句话会不会没有提升说服力,反而让下指令的那一方更容易被对方带跑。
③ 研究方法(怎么做的?)
作者搭了一个双人辩论台,让两个大模型隔着屏幕轮流发言。一个叫讨论者,负责开场介绍议题,之后每一轮都要评价对方的论点,然后明确表态:接受、拒绝,还是无视。另一个叫对手,被指定一个立场,并且在某些场次里额外收到一句“去操纵并说服对方”的指令。
辩论的题目是气候变化归因。为了排除“只是句子写法不同”的干扰,作者准备了两句意思相反的话:一句说人类活动是气候变化的主因,另一句说自然过程是主因。每个角色都要对当下展示的那句话打一个零到六分的同意度。为了能直接比较,作者把分数统一换算成“越靠近六越支持人类成因”,遇到相反的那句话就用六减去原分。
“谁跟谁配”也是实验条件。两家模型分别可以扮演讨论者或对手,于是有四种有顺序的组合:同门对同门两种,交叉两种。再把三种立场、两种指令、两种措辞交叉起来,一共四十八个小格,每格整整十场,合计 480 场独立辩论。每场固定二十轮,每轮双方各说一次,最后攒下 19,200 条发言记录。
作者还用了第二把尺子。除了让对方自己报分数,他们还根据对话里的“接受、拒绝、无视”逐步累加出一个“互动状态”:接受就往对方那边挪一分,拒绝就往外挪一分,无视则不动。两把尺子量的是同一件事的两面,作者想看看它们会不会给出不一样的答案。
④ 结果(发现了什么?)
最关键的发现是,谁跟谁配对,比有没有下“去说服对方”的指令重要得多。
先说起点。被指定立场的对手确实按指令站位:支持人类成因的平均 5.94 分,中立的 3.86 分,支持自然过程的 2.59 分。但另一侧没人指派的讨论者,起点却明显看模型:换成一家模型坐这个位置,平均 5.91 分;换成另一家,只有 4.72 分。这说明模型自带的“气候观”并没有被角色设定抹平。
再看整场辩论的走向。四百八十场平均下来,讨论者往反对人类成因的方向挪了 0.41 分,对手往支持人类成因的方向挪了 0.42 分,两边差距几乎原地不动。可拆到四种配对,画面完全变了:同门对同门时,差距分别收窄 1.26 分和 0.25 分;两家交叉时,差距反而扩大 0.83 分和 0.70 分。也就是说,交叉配对不是在弥合分歧,而是在制造分歧。
那句“去说服对方”的指令基本没起作用。总体上加了指令后差距多收窄 0.44 分,但统计检验的 p 值只有 0.063,四种配对里方向还有正有负,联合检验也不显著(p = 0.361)。
最耐人寻味的是两把尺子对不上。对话里的“互动状态”和自己报的分数,只有约三分之一的时候完全一致(讨论者 33.1%,对手 34.7%),平均差了一点三到一点五分。
二十轮独立辩论
同门配对平均收窄
交叉配对平均扩大
两种测量完全一致率
⑤ 讨论(这些发现说明什么?)
作者把这种差别归结为模型本身的脾气,而不是角色设定。有的模型天生更靠近“人类活动是主因”那一端,哪怕没人给它立场;有的模型一进对话就容易被对方牵着走。所以“被指定去说服别人的那个一定更稳”这个直觉并不成立——在两组配对里,反倒是本该被说服的一方动得更多。
另一个让人意外的点是两把尺子量出来的东西不一样。一个角色可能在每一轮都点头说“你说得对”,但它单独回答“你到底同不同意这句话”时,分数却没怎么动。反过来也有可能。作者认为这不是谁测错了,而是它们本来就是两件事:一个是对话中的即时姿态,一个是对整个命题的总体判断。只报其中一个,就等于把另一半故事藏起来了。
至于那句“去说服对方”的指令,效果很不稳定。总体上加了指令之后,差距缩小得稍微多一点点,但统计上站不住;分到四种配对里,方向还有正有负。作者解释说,他们只给了目标,没给具体战术,模型可能只是变得更爱争辩,而不是更会说服。还有一点很关键:如果下指令的一方自己动得更多,那不代表它说服了对方,可能只是它自己被说服了。
⑥ 结论(最终结论 + 启示)
这篇论文最后想说的,是评估大模型劝说效果的方法需要改。
作者给了三条建议。第一,别默认“劝说者”是固定不动的一方,两个角色都要测,而且要写清楚每个角色背后是哪家模型。第二,同一个议题如果有正反两种问法,要把分数换算到同一条轴上再比较,否则会得出相反结论。第三,要把“自己报的分数”和“对话里的表态”分开记录,它们不是一回事。
对关心舆论的人来说,这篇论文的意义在于提醒:我们担心人工智能会操纵公众意见,但如果连在实验室里两个模型互相聊天都说不清谁影响了谁,那么“某某模型很会说服人”这种结论就得打上问号。影响力可能不是模型的固有属性,而是模型、角色、议题和测量方式凑在一起才出现的东西。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
大语言模型已能在多轮对话中维持劝说性论证、针对对话者调整论据,并在同一段对话的后续轮次里修改自己先前报告的立场。这使“谁影响了谁”成为一个耦合问题:被指派为劝说者的一方既可能改变对方,也可能为迎合对方论证而移动自己的立场。只测量目标方在互动后的意见,会系统性地遗漏后一半动态。
LLM 意见动力学文献把模型视为通过自然语言交换而演化的互动 agent(Chuang et al. 2024; Cau et al. 2025)。其中与本文机制最接近的是 LODAS:Opponent 负责论证,Discussant 对每条论证作出接受、拒绝或无视,再更新一个 0–6 的状态;但在每一对中只有 Discussant 会变,Opponent 被固定。人机方向的最新工作则同时测量双方,发现模型可能比人类移动得更多,而双方意见差距收窄(Jiang et al. 2025)。
本文把这种双向测量逻辑搬进完全受控的 LLM–LLM 二元组,并在设计上做了三处交叉:其一,把模型身份在 Discussant 与 Opponent 两个角色上独立指派,从而把“角色效应”与“模型议题先验”分开;其二,把指派立场、劝说指令与题面措辞作为正交因子;其三,对双方在每一轮都重复测量,并同时记录一条独立的对话内状态轨迹。相对既有工作,贡献不在于新模型或新算法,而在于一个可复用的测量框架,以及对“对话是否必然收敛”“劝说者是否更稳固”两个默认假设的反例。
I. Theoretical Framework & Hypotheses(理论框架与假设)
本文不设方向性假设,而是把“指派角色—模型身份—题面措辞”作为因子,检验意见动力学中哪些差异可归因于角色、哪些必须归因于模型。三个研究问题及其概念来源如下表。
| 编号 | 研究问题 | 对应概念与文献 |
|---|---|---|
| RQ1 | 被指派立场的 Opponent 是否从指派位置起步并保持;未被指派的 Discussant 与 neutral Opponent 在各模型下分别呈现何种立场 | 角色遵从 vs 议题先验(prompt compliance;Santurkar et al. 2023;Simmons 2023) |
| RQ2 | 自评主题立场与互动状态在 20 轮中如何演化、何时稳定、配对差距在何种条件下收窄或扩大,是否取决于角色由哪个模型担任 | 双向影响(Jiang et al. 2025);LODAS 状态更新(Cau et al. 2025) |
| RQ3 | 明确的操纵指令是否一致地提升影响力或立场坚持,还是反而提高对对话者的迁就 | 说服、谄媚与操纵(Hackenburg et al. 2025b;Carroll et al. 2023;Bo et al. 2025) |
意见被形式化为一条对齐后的一维轴。对原始评分 r,人类成因对齐分数为:
z = r(展示人类成因句);z = 6 − r(展示自然过程句)。
角色的带符号位移为 Δz_k = z_(k,post) − z_(k,pre);阶段 t 的配对距离为 g_t = |z_(D,t) − z_(O,t)|;当 g_post < g_pre 时判定该场辩论严格收敛。互动状态是一个确定性累加器,起点为该角色的 pre-rating:
s_(t+1) = s_t + 1(ACCEPT,朝对方当前状态);s_t − 1(REJECT,背离对方);s_t(IGNORE)。
由于 ACCEPT/REJECT 固定移动一步、IGNORE 不动,状态转移矩阵必然强结构化;两条测量路径的差异因此只能来自“是否接受某条具体论证”与“如何评价整个命题”之间的分歧,而非更新规则的随机性。这一区分构成 RQ2 中“两种测量不可互换”的检验基础。
M. Materials & Methods(材料与方法)
- 仿真范式:属 ABM(基于 LLM 代理的 agent-based model),不是 SD,也不是 DES;系统没有存量—流量结构,也没有事件队列,时间以离散步推进。
- agent 数与规模:每个二元组固定 2 个 agent(Discussant、Opponent),共 480 个独立二元组、960 个 agent 实例;每场 40 条 message row,全库 19,200 条。
- 时间步与终止:步长 = 1 round(Discussant 一次发言 + Opponent 一次发言),每场固定
T = 20轮,无自适应终止。作者说明这是沿用 Cau et al.(2025)固定迭代次数的做法(该文用T = 30),以便与 LODAS 结构可比。第一轮 Discussant 的发言是议题开场,不计入“可回应轮”。 - 软件与模型接入:作者自建自动化辩论平台,负责配对、交替调用、记录每条消息与每次测量并导出 message 级数据;模型经 OpenRouter 调用,标识为
openai/gpt-6-luna(GPT-6 Luna)与google/gemini-2.5-flash-lite(Gemini 2.5 Flash Lite)。每场开始均为全新上下文,避免跨场记忆污染。 - 因子设计:Discussant 模型(2)× Opponent 模型(2)× 指派立场(human-cause / neutral / natural-cause,3)× 劝说风格(manipulative / non-manipulative,2)× 题面措辞(human-causation / natural-process,2)= 48 个精确格,每格恰好 10 场完整独立辩论,无缺格无超额;每个有序配对 12 格 × 10 = 120 场,四个配对共 480 场。
- 测量一:自评主题立场:通过一次独立的模型调用(不复用对话上下文之外的额外提示)在对话前、每轮结束后、末轮结束后让角色对“原始题面”打 0–6 分(Likert 1932),并明确告知其当前可用的对话记录。这是对命题的显式评价。
- 测量二:互动状态意见:以该角色的 pre-rating 为起点,按其在对话中自己给出的 ACCEPT / REJECT / IGNORE 类别逐轮确定性更新,反映对话内的局部取态。
- 对齐变换:所有评分、互动状态与带符号位移统一换算到人类成因对齐轴(6 = 最强支持人类成因,0 = 最强支持自然过程),使两种措辞可直接比较。
- 统计推断:分析单位为一场辩论(conversation-level),明确不把重复的 message row 当作独立观测。报告对话层均值与基于 t 分布的 95% 置信区间;操纵对比用探索性双侧 Welch 检验(Welch 1947);另拟合角色特定的 OLS 模型并采用 HC3 稳健标准误(MacKinnon & White 1985)与因子交互。跨配对异质性用含配对、指派立场、劝说风格、措辞的对话层线性模型,对配对项做联合 Wald 检验(HC3);第二个模型加入配对 × 操纵交互。六个跨配对 Welch 比较做 Holm 校正(Holm 1979)。作者明确将这些比较定性为描述性与探索性。
- 标定数据(缺省):本研究没有外部经验标定。初始立场完全由模型对题面的自评产生,未拟合任何调查分布、真实辩论语料或人类被试数据;作者在文献部分引用 PIMMUR 原则(Zhou et al. 2025)强调集体行为主张需要 profile、交互规则、记忆、控制与验证,但本文自身定位是受控机制比较,而非经验复现。因此其结果的外部效度(能否外推到真实公众)不被该设计支持。
- 与传播/公共管理议题的接口:模型被置于“气候变化归因”这一高极化的公共议题上,角色分工(劝说者/被劝说者)直接对应传播学中的说服传受双方,输出量(立场位移、配对差距、接受率)对应舆论动力学中的趋同/极化。该接口使 ABM 的微观机制参数可被读作“谁在公共讨论中被改变”的可检验命题。
R. Results(结果)
- RQ1:角色遵从与模型议题先验并存:在人类成因对齐的 0–6 轴上,被指派 human-cause 的 Opponent 平均 pre-rating 为 5.94,neutral 为 3.86,natural-cause 为 2.59,初始排序符合指派,但 neutral 与 natural-cause 并未钉在量表端点。未被指派极性的 Discussant 呈明显的模型依赖先验:GPT-6 Luna 作 Discussant 时均值 5.91,Gemini 2.5 Flash Lite 时 4.72(两者都偏向人类成因,但差距达 1.19 分)。
- RQ2:总体几乎不动,分层后方向相反:480 场合并,Discussant 对齐位移 −0.41(95% CI [−0.57, −0.25]),Opponent +0.42([0.22, 0.61]);绝对变化分别为 1.07 与 1.52;配对差距变化 +0.01([−0.23, 0.24])。合并前后的平均差距均为 1.79,480 场中 227 场(47.3%)严格收敛。
- RQ2:有序配对是分层变量:Luna→Luna 的差距变化 −1.26([−1.52, −0.99]),Gemini→Gemini 为 −0.25([−0.69, 0.19],区间含零);两个交叉方向相反为正:Luna→Gemini +0.83([0.36, 1.31])、Gemini→Luna +0.70([0.16, 1.24])。严格收敛比例依次为 55.8%、59.2%、25.8%、48.3%——组均值与个体收敛比例是两个不同的统计量,Gemini→Gemini 多数个体收敛并不等于其均值下降在统计上可分辨。
- RQ2:模型配对效应显著:控制指派立场、操纵条件与措辞后,配对哑变量的联合 HC3 Wald 检验
χ²(3) = 113.25,p < .001。六个探索性 Welch 比较经 Holm 校正:Luna→Luna 与其余三者均不同(校正后均p < .001);Gemini→Gemini 与两个交叉方向不同(校正后p = .003与.015);两个交叉方向之间不可分辨(p_Holm = .715)。 - RQ2:名义劝说者并不更易变:合并看 Opponent 绝对变化(1.52)大于 Discussant(1.07),但该排序在 Gemini→Gemini(1.68 vs 1.87)与 Gemini→Luna(1.24 vs 1.98)中反转。Luna Discussant 在两种配对中都较稳定(−0.11 与 +0.03),Gemini Discussant 在两种配对中都明显移动(−0.63 与 −0.93)。
- RQ2:两种测量不可互换:在可回应轮中,互动状态与独立抽取的当轮评分完全相等的比例为 Discussant 33.1%、Opponent 34.7%;对应平均绝对差 1.50 与 1.36 个量表点;一致率在 Luna→Luna 明显高于 Gemini→Gemini。后期稳定性则很高:第 18–20 轮评分完全相同的比例为 Discussant 79.6%、Opponent 70.0%。
- RQ3:操纵指令无一致效果:合并 480 场,操纵使 Discussant 位移从 −0.50 变到 −0.32(差 +0.18),Opponent 从 +0.28 到 +0.55(差 +0.27),差距变化从 +0.23 变为 −0.21(差 −0.44);对应未校正双侧 Welch 检验
p = .27、.18、.063。配对内的 manip−nonmanip 差距变化对比为 −0.28(Luna→Luna)、−0.10(Gemini→Gemini)、−0.30(Luna→Gemini)、−1.07(Gemini→Luna),四个未校正 95% CI 均含零;配对 × 操纵的联合 HC3 检验χ²(3) = 3.21,p = .361。唯一显著的点是 Gemini→Luna 中操纵型 Opponent 的位移比非操纵型多 0.62 分(未校正 Welchp = .018),而 Gemini→Gemini 上该差为 −0.23。 - 类别决策同样随配对变化:全部可回应轮中 Discussant 选择 ACCEPT 的比例为 90.4%,Opponent 为 87.2%;Luna→Luna 分别为 98.0% 与 96.0%,Gemini→Gemini 为 83.7% 与 78.8%。操纵型 Opponent 的 ACCEPT 率略低于非操纵型(86.3% vs 88.2%)。作者把观测到的移动统称为 accommodation(迁就),而不断言其构成说服。
| 结果(N = 480) | 均值 | 95% CI |
|---|---|---|
| Discussant 对齐位移 | −0.41 | [−0.57, −0.25] |
| Opponent 对齐位移 | +0.42 | [+0.22, +0.61] |
| Discussant 绝对位移 | 1.07 | [0.94, 1.20] |
| Opponent 绝对位移 | 1.52 | [1.37, 1.66] |
| 配对差距变化 | +0.01 | [−0.23, +0.24] |
| 有序配对(D → O,n = 120) | D 位移 | O 位移 | 差距 pre | 差距 post | 差距变化 |
|---|---|---|---|---|---|
| Luna → Luna | −0.11 | +1.23 | 1.47 | 0.21 | −1.26 |
| Gemini → Gemini | −0.63 | +0.07 | 1.85 | 1.60 | −0.25 |
| Luna → Gemini | +0.03 | −0.79 | 2.20 | 3.03 | +0.83 |
| Gemini → Luna | −0.93 | +1.16 | 1.63 | 2.33 | +0.70 |
a / D. Discussion & Conclusion(讨论与结论)
- 理论含义一:劝说者不是固定参照点:合并样本中 Opponent 移动更多,但这一排序在两个配对里反转,说明“被指派去说服”并不意味着立场更稳固。既有 LLM 说服研究常把目标方的后测当作唯一结果,本文的双向重复测量表明,影响力估计会把“劝说者的自我迁就”误记为“目标被说服”。
- 理论含义二:收敛不是对话的必然属性:同门配对收窄、交叉配对扩大,且方向在四个配对中稳定;这意味着 LLM 意见动力学中“长对话趋向共识”的默认假设只在同质 agent 群体里成立。若把不同厂商模型混编进同一舆论模拟,模拟出的可能是极化而非趋同,而这一差异来自模型身份而非交互规则。
- 测量含义:显式评分与对话内状态只有在约三分之一的观测中完全一致,平均相差一点三到一点五分,且一致率随配对变化。两者因此应作为互补结果分别报告:一个角色可以在具体论证上连连让步(ACCEPT 率高达九成),而对整个命题的总体判断几乎不变。作者据此提出三条实践规范——报告双方而非单方、把正反措辞对齐到同一实质轴、区分重复显式评分与对话内状态更新。
- 对传播学与公共管理研究的含义:本研究把 ABM 的微观机制直接架在“气候变化归因”这一高极化公共议题上,角色分工对应说服研究的传受双方,输出量(立场位移、配对差距、接受率)对应舆论动力学中的趋同与极化。其政策与治理含义有三。其一,任何以 LLM 为被试或干预工具的说服实验,都必须登记模型身份与版本,因为同一套提示在不同模型组合下会给出方向相反的结论;否则“某模型善于说服”这类判断无法复现。其二,在评估 AI 生成的说服性内容对公众意见的影响时,若只测受众方,会把模型自身的迎合性漂移算进效应量,从而高估说服力。其三,对气候归因这类科学共识议题的公众沟通,模型自带的议题先验(两家的起点相差 1.19 分)说明“中立指派”并不能保证中立起点,这对用 LLM 做公共议题信息中介的设计是一个直接约束。
- 操纵指令的解读:作者强调,附加指令只指定了目标而未指定战术,因此“无效”不能被读作“提示无法提升说服力”——这与 Hackenburg et al.(2025b)关于具体提示与后训练策略可提升说服效果的证据并不冲突。更重要的区分是三种结果可以彼此背离:说服了对方、坚持了被指派的角色、迁就了对方;再加上第四个维度——模型身份的有序组合,它同时改变这些模式的方向与幅度。
- 局限:仅两个模型、单一议题、单一句子措辞对;20 轮固定长度无法观察更长时程的漂移;无外部经验标定,初始立场由模型自评产生,外部效度有限;操纵条件只有“有/无一句指令”,未操纵战术、语气或论据质量;作者自述全部对比为描述性与探索性,除 Holm 校正的六项跨配对比较外未做全局多重比较校正;模型版本会随供应商更新而漂移,复现依赖具体快照;原文未报告采样温度、随机种子与解析失败的重试策略。
- 数据与声明:原文未提供代码或数据公开链接,亦未见资助与利益冲突声明。
🧠 IRMaD 思维导图
mindmap
root((大模型对话意见动力学))
I 引言
劝说研究只测一方
劝说者也会被改变
LODAS 只让讨论者变
人机双向测量新证据
R 研究问题
RQ1 指派立场是否守住
RQ2 差距何时收窄扩大
RQ3 操纵指令是否有效
两种测量是否一致
M 方法
ABM 二元组离散仿真
每场两个代理二十轮
四十八格每格十场
四家组合有序配对
自评零到六分
接受拒绝无视状态
对齐到人类成因轴
无外部标定数据
R 结果
起点五点九四与二点五九
讨论者起点五点九一与四点七二
同门收窄一点二六与零点二五
交叉扩大零点八三与零点七零
配对联合检验显著
完全一致仅三成三
操纵指令不显著
接受率九成与八成四
a 讨论
劝说者不一定更稳
收敛不是必然
显式评分不同于对话状态
模型身份须登记
气候议题高极化
D 结论
双向测量成规范
措辞须对齐同轴
仅两模型一议题
探索性比较为主
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。