🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
在社会科学里，人们越来越喜欢拿大语言模型当“替身”，让它扮演受访者、选民或者网民，借此模拟舆论、选举和集体决策。这么做省事又便宜，但前提是模型的行为要和真人像。偏偏有一个环节很少被认真检验：当一条说服性的理由摆在面前，人会改变自己的想法，模型会不会也这样改变？如果不会，那么所有默认“它会像人一样思考”的模拟都可能跑偏。这篇论文正是冲着这个缺口来的。它想知道，模型在“要不要被说服”这件事上的判断，和真人到底差多远、又差在哪里。
研究者的担忧很具体。假如一个政策模拟里，模型对所有讲道理的说法都照单全收，那模拟出来的民意就是虚高的；反过来，如果模型对什么好话都油盐不进，模拟出来的社会又会显得过于顽固。所以要先把“差多少、差在哪”量出来，才谈得上用不用它。
② 研究问题（要回答什么？）
这篇论文想弄清楚的是，当同一个说服理由摆在面前，大模型的反应到底像不像真人。研究者把问题拆成了三小问。第一问，模型在判断“这条回复会不会改变观点”时，是不是系统性地偏向某个方向，比如过于宽容或者过于固执。第二问，讨论内容本身的特征会不会放大或者缩小这种偏差，这些特征包括原帖长短、用词风格、论证方式，以及话题属于事实、价值还是政策。第三问，让模型扮演原帖作者本人，和让它当旁观者替别人预测，这两种身份会不会带来额外的偏差。三问层层递进，从“像不像”一路问到“为什么不像”。
③ 研究方法（怎么做的？）
研究者挑的战场是一个叫“改变我的看法”的真实网络社区，里面的发帖人会亲口承认某条回复改变了自己的观点。这种由当事人自己盖章的标记，比事后猜测可靠得多。研究者从社区里筛出两千多个帖子，再为每一条“说服成功”的回复，从同一个帖子里随机配一条“说服失败”的回复，凑成三千多对对照。每一对共享同一个原帖，区别只在于有没有说服成功，好比同一道题配了正反两个答案。
然后他们把每一条回复单独拿给八个不同家族的大模型看，让模型做一道判断题：这条回复会不会改变原帖里的观点。同一个任务还要求模型换一重身份再答一遍，一次扮演发帖人本人，一次当旁观者。为了找出差异到底来自哪里，研究者还给原帖标了“事实、价值、政策”三类主张，给回复标了“讲道理、动感情、树权威”三种说服策略，最后用统计模型比较人和机器各自更看重哪些线索。
④ 结果（发现了什么？）
把八个模型和真人的判断放在一起比，结果都是“轻微一致”这一档。一致度最高的模型也只有不到两成，最低的连一成都不到，也就是说，模型几乎没有抓住“人为什么会被说服”的规律。更微妙的是出错的方向。有的模型爱顶嘴，明明是有效回复却被判成没用；有的模型爱点头，没用的回复也照单全收；还有一个几乎两边对半开。
研究者随后逐项拆解线索。人和模型都认为长一点的、带外部链接的回复更有说服力，也都觉得又长又固执的原帖更难被攻破。分歧出现在更细的地方：真人偏爱带来新信息的回复，模型却更喜欢贴着原帖说话；真人会被斩钉截铁的口气打动，模型却对这个信号无动于衷；模型反而更在意排版、列表这类表面装饰。在说服策略上，模型明显轻视打感情牌，却高看权威和资历这张牌。
⑤ 讨论（这些发现说明什么？）
作者认为，这种分歧不是偶然的噪音，而是人和模型在“什么算有说服力”上本来就长得不一样。模型似乎把说服当成一道语言相似度题目，回复越贴近原帖，越显得“对题”，就越容易被认定为有效；而真人恰恰相反，他们想要的是自己没想过的新角度。
另一个值得注意的发现是身份的作用。当模型扮演发帖人本人时，它更容易被对方说服，像是当面被质问就忍不住让步；一旦换成旁观者的身份，它就变得格外保守，几乎默认说服不会发生。这种“换个身份就换个态度”的规律，和人类沟通研究里著名的“第三人效果”方向正相反——真人往往觉得别人比自己更容易被说服，模型却反了过来。作者由此提醒，让模型扮演谁，本身就是研究设计的一部分，不是可以随手定的细节。
⑥ 结论（最终结论 + 启示）
作者的结论很直接：在说服判断这件事上，大语言模型还不能拿来当人类的替身。更让人警惕的是，这种不一致不是能力不足，而是结构上的不同，再多训练也未必能自动抹平。他们把话说得比较克制，提醒读者不要理解成模型“不会思考”；真正的问题是，如果模拟系统和决策支持工具默默假设模型的想法和真人一样，最后就会得到被扭曲的结果。
作者给后续研究的建议也很清楚：把单轮说服扩展到多轮拉锯，换更多语言和更多人群的背景再测一遍，看看这套分歧是不是普遍存在。在此之前，任何拿模型替代真人做判断的做法，都应该先做逐任务的核对。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
大语言模型正被大规模用作人类被试的代理：从生成式智能体与社交互动模拟，到舆论调查、在线讨论、选举与集体决策。既往研究对“代理是否忠实”已有争论——统计层面上能复现人口学分布，但对特定子群体和议题存在系统性错位，学界因此呼吁对模型的价值与意见做更审慎的评估。然而，这些评估几乎都停留在静态的意见分布与问卷作答上，一个关键的认知过程被忽略了：信念更新（belief updating），即人在面对具体证据或论证时如何选择性地修正既有立场。
已有论证情境研究记录了准确性偏差驱动群体共识、固化的社会偏见压过被指派的意识形态、上下文累积可预测地改变模型判断等现象，但都没有把模型的单条论证判断与真人结果逐条对齐；把 actor 与 observer 角色分配给智能体虽已知会诱发归因偏差，这一视角效应是否延伸到信念更新则尚待检验。本文据此提出三项贡献：（1）首次在真实单轮说服数据上，把八个模型的信念更新判断与当事人自证的人类标签做系统对照；（2）引入主张类型与说服策略两个分析维度并给出可复用的自动化标注方案；（3）揭示第一人称角色扮演与第三人称旁观这两种视角本身，就是模型偏差的一个活跃来源。
I. Theoretical Framework & Hypotheses（理论框架与假设）
本文不设显式形式化假设，而是以三个研究问题（RQ）组织诊断框架，分别对应“是否存在分歧—分歧由什么调节—视角是否额外注入偏差”三个层级。每条 RQ 锚定一条既有理论线索（见下表）。
| 编号 | 研究问题 | 对应理论 / 人类基线 |
|---|---|---|
| RQ1 | 模型的信念更新判断相对真人是否存在系统性偏差？ | 信念更新与信念调整模型（Anderson 1981；Hogarth & Einhorn 1992）；LLM 代理忠实度之争（Argyle et al. 2023 vs. Santurkar et al. 2023） |
| RQ2 | 主张类型、说服策略与文本特征是否调节这种偏差？ | 论证/辩论的主张类型分类 fact·value·policy（Freeley & Steinberg 2009；Rybacki & Rybacki 2008）；说服三模式 logos/pathos/ethos（Hidey et al. 2017；Wachsmuth et al. 2017）；ELM 精细加工可能性模型（O'Keefe 2008） |
| RQ3 | 第一人称角色扮演是否比第三人称旁观注入额外偏差？ | 谄媚 sycophancy（Sharma et al. 2024；Ranaldi & Pucci 2023）；第三人效果（Davison 1983；Sun et al. 2008）；actor–observer 归因不对称（Li et al. 2026） |
框架的核心逻辑是：把“对齐”操作化为模型二元判断与人类 delta 标签之间经机会校正的一致度，再用误差的方向性（FN vs. FP）刻画偏差结构，最后沿内容三轴（表层特征 / 主张 / 策略）与视角轴做调节分析。
M. Materials & Methods（材料与方法）
- 语料与识别策略：取自 ChangeMyView（CMV）语料（Tan et al. 2016）。CMV 中发帖人（OP）若被某条回复说服，会亲自回复一个 delta（Δ）字符作为当事人自证标签。识别策略=“语料自证标签 + 对照人类基线”，属观察性对照设计而非因果实验：先筛出至少含一条被直接授予 delta 的根回复的原帖（排除仅在多轮往返后才授予 delta 的情形），得到 2,262 个原帖；再为每条成功的根回复在同讨论树内随机配一条失败根回复，得 3,016 对配对样本，每对共享同一原帖、仅说服结果不同。
- 任务：给定原帖 + 挑战回复，模型输出二元判断
delta_awarded ∈ {true, false}。两种视角条件：第一人称（扮演 OP，判断“自己”的观点是否改变）与第三人称（作为外部观察者预测 OP 的观点是否改变）。 - 被评测模型：八个跨家族/跨语言生态的模型——DeepSeek-V3、MiniMax-M2.5、GLM-4.7、GPT-4o-mini、GPT-5.5、Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct、Gemini-2.5-Flash-Lite（后三者后文简称 Qwen-32B / Qwen-72B / Gemini-2.5-Flash）。
temperature = 0.1。 - 对齐指标：Cohen's κ（校正机遇一致），辅以 TPR / FPR 刻画偏差方向——高 FPR 表示过度接受无效论证，低 TPR 表示系统性拒绝有效论证。
- 九个文本特征：原帖侧 OP Length、OP 1stPerson（第一人称单数代词频次）、OP Definitive（确定语气词频次）；回复侧 Reply Length、Reply Definitive、Reply Inclusive（第一人称复数）、Reply Formatting（项目符号/编号列表）、Reply Link、Reply Dissimilarity（回复与原帖在非停用词词表上的 Jaccard 不相似度 = 1 − Jaccard）。
- 标注：LLM-as-a-judge，用 GPT-5.1（刻意不选自实验模型集，以避免标注与待研究现象之间的循环性）。主张类型为单标签（fact / value / policy）；说服策略为多标签（logos / pathos / ethos 各自独立判有无）。
- 建模：对人与 LLM 分别拟合 logistic 回归；LLM 回归池化八个模型并加入 model fixed effects；显著性用 Benjamini–Hochberg FDR 校正的 q 值，每个回归视为 9 次检验的 family。
logit(p) = β₀ + Σₖ βₖ·Xₖ + γₘ（γₘ 为模型固定效应）。 - 稳健性：三次不同随机种子的完整重复实验（Fleiss' κ）；GLM-5.2 复标；两位作者对每维随机 100 条独立人工标注；以 GPT-5.1 对模型理由文本打 0–100 连续信念变化分（对人排名 Kendall τ=0.889, p<0.001）再做 OLS 复核。
R. Results（结果）
- RQ1（一致度）：第一人称下八个模型的 Cohen's κ 落在 [0.079, 0.178]（最低 GPT-4o-mini，最高 GPT-5.5），全部属 Landis & Koch 的 “slight” 档。总异常率（FN+FP 占比）在 41.1%–46.1% 的窄区间内高度稳定。误差内部结构分三类剖面：resistant（FN>FP）：GPT-4o-mini、Qwen-72B、GLM-4.7（GLM-4.7 最极端，FN=30.9%、FP=13.4%）；receptive（FP>FN）：Gemini-2.5-Flash（FN=8.0%、FP=37.6%）、Qwen-32B、DeepSeek-V3、GPT-5.5；中性：MiniMax-M2.5（FN=21.7%、FP=21.8%）。模型彼此之间的一致性（κ 0.190–0.548）远高于模型与人的一致性，提示存在一个共享的“LLM 特有判断结构”。
- RQ2-a（文本特征）：分人/LLM 拟合 logistic 回归，见下表。
- RQ2-b（主张类型）：value 占 44.7%、fact 28.0%、policy 27.3%。三类之间 κ 与误差组成均无系统性分离，主张类型不是分歧的调节变量。
- RQ2-c（说服策略）：42.2% 的回复只用单一策略，其中 logos 独占 40.9%，单独 pathos 仅 1.0%、单独 ethos 仅 0.2%；组合以 logos+pathos（25.8%）、logos+ethos（15.4%）、三策略全用（15.2%）为主。三策略组合说服率最高（人类 57.08% / LLM 均值 65.93%）；单独 ethos 最低（30.77% / 29.65%），但叠加到其他策略上恒定增益，说明它是放大器而非独立策略。两处分歧：pathos 上人类 41.67% 而 LLM 仅 24.34%；ethos 组合上 LLM 反而高于人类（E+P：人类 42.86% vs. LLM 49.08%）。即 LLM 低估情绪诉求、高估可信度信号。
- RQ3（视角）：改旁观视角后全部八个模型 FN 上升、FP 下降，三类剖面收敛为统一的 resistant 剖面；Gemini-2.5-Flash 近乎镜像翻转（FP 37.6%→8.6%，FN 8.0%→38.2%）。特征系数多数朝人类基线靠拢（OP Length 修正最大），但 OP 1stPerson 反而更强、Reply Length 差距进一步拉大。策略降幅分化：含 logos 的组合降 23.5–26.0 pp，不含 logos 的降 13.9–19.7 pp（基线相当：E+P 49.1% vs. Logos 50.1%），说明视角效应与论证内容交互，而非统一的阈值平移。
- 稳健性：八模型中七个跨三次重复的 Fleiss' κ 在 0.739–0.900（成对一致 ≥86%），唯 MiniMax-M2.5 仅 0.438（应谨慎解读）；GPT-5.1 标注与 GLM-5.2 复标在主张类型 κ=0.751、策略 micro-κ=0.817；与人工标注相比，GPT-5.1 落在两名标注者之间或以上（主张 κ=0.454/0.683，人工者间 κ=0.450；策略 micro-κ=0.570/0.735，人工者间 0.660）。
| 文本特征 | 人类 OR | LLM OR | 显著性 | 解读 |
|---|---|---|---|---|
| Reply Length | 1.4643 | 1.3574 | 均 p<0.001 | 同向，双方都看重 |
| Reply Link | 1.1555 | 1.1109 | 均 q<0.001 | 同向 |
| OP Length | 0.9493 | 0.8290 | 均 q<0.001 | 同向；LLM 负向强度超人类三倍 |
| OP Definitive | 负 | 负 | 均显著 | 同向，立场越硬越难被撬动 |
| Reply Dissimilarity | 1.1476 | 0.9115 | 均 q<0.001 | 符号翻转：人奖励新内容，LLM 偏好话题贴近 |
| Reply Formatting | 1.0591 | 1.0520 | 人类 q=0.050（临界）/ LLM q=0.019 | 点估计相近，仅 LLM 过 FDR |
| Reply Inclusive | 1.0254 | 0.8991 | 人类 q=0.302 / LLM q<0.001 | 仅 LLM 显著（负向） |
| OP 1stPerson | 0.9926 | 1.1567 | 人类 q=0.302 / LLM q<0.001 | 仅 LLM 显著（正向） |
| Reply Definitive | 1.0668 | 1.014 | 人类 q=0.013 / LLM q=0.480 | 仅人类显著（正向） |
a / D. Discussion & Conclusion（讨论与结论）
- 理论意义：分歧不是随机的采样噪声，而是结构性的——即便最强模型也只捕捉到不足五分之一的非机遇一致结构。第一人称角色扮演放大了模型对当面论证的让步倾向（与 sycophancy 文献一致），旁观视角则压制了这一倾向、令模型转向“默认说服不发生”的保守先验。值得注意的是，旁观侧的偏移方向与人类沟通研究中经典的第三人效果恰好相反：真人认为说服讯息对他人影响更大，而模型在评判第三方时反而更保守。
- 对“LLM 作人类被试代理”的适用边界：作者明确反对把 LLM 判断当作人类信念更新的忠实代理。可用于模拟的前提是逐任务、逐情境地验证其忠实度；本文显示至少在单轮说服判断上，这一前提不成立。作者同时强调，不应把结论读成“模型是 defective reasoner”，问题在于无条件信任代理的模拟与决策支持系统会产出被扭曲的结果。
- 识别策略的因果限度：本研究是观察性对照，不是随机实验。ground truth 依赖 OP 的自愿 delta 授予，负面标签存在非对称噪音（说服可能在后续往返中发生却未被标记），且把连续信念变化压成二值，会同时合并“部分让步”与“彻底转向”。单轮设计是为隔离单条论证的净说服效应而做的取舍。
- 其它局限：CMV 用户偏向年轻、讲英语、政治参与度高的 Reddit 人群，外推受限；实验用默认配置、未注入 persona（原帖作者的价值、背景、讨论史在数据中不可得），因此是“有原则的基线”而非对特定真人的忠实模拟；模型迭代快，具体偏差幅度可能随世代变化，但作者认为所识别的结构模式反映的是当前预训练与对齐范式的更普遍性质。
- 实践启示：视角（扮演谁）不是中性的设计选择，而是偏差的活跃来源；建议后续把评估扩展到多轮说服轨迹，并检验分歧是否跨语言与跨人群普遍存在。
- 数据与伦理：全部数据来自公开的 CMV 语料，不使用 Reddit 用户名或个人可识别信息；仅对已有公开数据做 LLM 推理，无人类被试、无需 IRB。代码开源（tsinghua-fib-lab/LLM-belief-update-cmv）。本文无外部资助声明。
🧠 IRMaD 思维导图
mindmap
root((人机说服判断分歧))
I 引言
大模型充当人类代理
代理忠实度有争议
信念更新少有人验证
三问定位诊断
R 研究问题
RQ1 是否存在系统偏差
RQ2 内容特征是否调节
RQ3 视角是否注入偏差
M 方法
真实说服社区语料
当事人自证改变标签
两千余帖三千对样本
八模型 跨家族跨语言
两种视角切换
逻辑回归加 FDR 校正
R 结果
一致度仅轻微档
最高零点一七八
三种误差脾气
模型偏好话题贴近
模型轻视情绪牌
主张类型无影响
a 讨论
谄媚放大让步倾向
旁观视角转向保守
与第三人效果相反
视角即偏差来源
D 结论
不能当人类替身
属结构性不同
须逐任务验证
多轮跨语言待测
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。