人工智能系统的说服力超过人类专家

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

本研究处在政治传播效果研究与人机传播两条脉络的交汇处。前者在过去十年被「最小效果」共识主导：Kalla 与 Broockman 汇总 49 项田野实验发现大选中的竞选接触几乎没有可测的说服效果，Coppock 等人的 59 项实时随机实验也显示政治广告效果微小且高度稳定。唯一稳定的例外是长时间人际对话——登门拜访式的深度对话可以持久降低偏见。

后者近三年迅速堆积：对话式人工智能可以改变投票偏好（Nature 2025）、持久削弱阴谋论信念（Science 2024）、反向植入阴谋论、改变道德立场、促成消费与真实政治行动。但既有研究的比较基准几乎都是众包平台上的普通人：Salvi 等人发现 GPT-4 的对话说服力可与网络工人相当，Schoenegger 等人报告模型可超过受激励的普通人。更早的 IBM Project Debater 与职业辩手对阵时明显落后。

由此留下的空白正是本文的靶心：既往从未把前沿模型放到「职业级、受重金激励、可自选议题、可带薪备赛」的人类说服专家面前做直接对抗。本文的四项贡献是：(i) 首次以同平台、同议题、实时随机匹配的对抗设计，把模型与五类人类说服者（含 4 位世界辩论冠军、现职职业募捐拉票员）放在同一个估计框架内比较；(ii) 通过吞吐量约束这一实验操纵，把「模型为何更强」从相关推进到可操纵的机制证据；(iii) 用教练干预检验人类能否通过学习追平，回答了「差距是否会随时间自然收敛」；(iv) 把结果从态度量表外推到真实货币行为，直面既往文献中态度效应与行为效应不相关的断裂。

I. Theoretical Framework & Hypotheses（理论框架与假设）

作者不诉诸单一说服理论，而是把信息供给（information provision）作为核心解释机制，与温情/共情/融洽（warmth, rapport）一类关系性机制对立起来检验。其理论来源是既往发现：论辩性、事实密集的对话最能撬动政策态度，且每场对话中可核查事实主张的条数能预测说服效果。本文将其推进为「事实密度」假说：模型的优势并非源于更懂人心，而源于其写作吞吐量使其能在同一段对话里塞进人类无法企及的信息量。

注意作者的关键伪证设计：若「事实密度」假说为真，则在控制住 log 事实条数之后，人机哑变量的系数应当趋近于零——这是一个对自己假说不利即会暴露的检验。

M. Materials & Methods（材料与方法）

• 识别策略：四场预注册、单盲、组间设计的在线随机对照实验（RCT），外加一场预注册的四轮淘汰式说服锦标赛（Study 0）用于内生地筛选人类高手。随机化发生在对话层而非被说服者层：自建网页应用在被说服者进入会话的瞬间按固定的预注册概率抽签，再实时把他匹配给该条件下的下一位在线说服者。
• 随机化概率（预注册）：Study 1 — 对照 10% / 普通人 15% / 选拔高手 15% / 顶级辩手 15% / 模型 45%（模型内三家等概率）；Study 2 — 对照 10% / 受训辩手 30% / 不受限模型 30% / 受限模型 30%；Study 3、4 — 对照 10% / 职业拉票员 45% / 模型 45%。议题为十个立场的等概率独立抽取，且约束「同一被说服者不重复同一议题」。
• 样本量：最终分析样本 18978 场对话、6923 位被说服者（分配会话共 23443 次，差额为匹配失败与结果前流失）；参与者合计 7218 人 = 6923 位被说服者 + 295 位人类说服者（= 132 + 87 + 56 + 20，受训辩手为顶级辩手的子集，拉票员跨两场共 20 人）。数据采集期 2025-10-16 至 2026-05-13。未做样本量计算，按预注册「在池子、周期与预算内尽可能多」，目标每个人类对照条件约 1000 场完成对话。
• 对照组：主动对照（active control）——同格式、同长度、同界面，但与模型聊八个中性日常话题之一（猫狗、居家/办公、电子书/纸书、iPhone/Android）。由此把「聊过天」与「重复测量」的一般效应扣除。
• 人类对手（五类）与激励：基本时薪 12 / 24 / 30 / 30 / 140 英镑（普通人 / 选拔高手 / 顶级辩手 / 受训辩手 / 职业拉票员）。除普通人（仅前 10% 得 10 英镑）外，各类竞争同一阶梯奖金池（第 1–4 名 1000 / 750 / 500 / 250 英镑），并领取按相对效果计价的逐场奖金 Bonus = £15 × (该说服者平均效果 / 模型平均效果) × N_conversations，实际均值约 8 / 8.5 / 10 英镑每场（人均总额约 86 / 159 / 267 英镑）。顶级辩手提前 21 天知情、带薪备赛约 8 小时；受训辩手累计约 6 周、约 16 小时；拉票员提前 7 天。辩手与受训辩手可自选议题。
• 人类专家的资质：顶级辩手 56 人，入选门槛为国际大赛公开组四强及以上；其中 WUDC 公开组冠军 4 人、五大洲际赛公开组冠军 11 人（两者并集 13 人；任一组别夺冠者 18 人），平均赛龄 8.9 年。职业拉票员来自英国募捐公司 AppcoUK，生涯说服对话中位数一万次、平均从业约 8 年；该公司 2016–2023 年为救助儿童会实际募得 824297 英镑、22583 位捐赠人。
• 选拔锦标赛（Study 0）：1154 名英国 Prolific 受试入围首轮，四轮共 9475 场对话、2634 位被说服者；每轮以贝叶斯多元混合效应模型（对后测态度与对话质量评分联合建模）估计说服能力并全局排名，晋级率依次为前 80% / 70% / 50% / 约 36%，复合后约为首轮的前 10%，最终 87 人进入 Study 1。
• 对话协议：纯文字、2–10 轮、严格轮流、被说服者第二轮后可终止、4 分钟匹配超时与静默自动结束；为保证真人实时匹配，每日仅开放 4 小时采集窗口。Studies 1–3 处理组中位 7 轮 / 14 分钟，Study 4 中位 5 轮 / 10 分钟。
• 模型与提示：Study 1–2 为 Gemini-2.5-pro、ChatGPT-4o-latest、Claude-Opus-4.1；Study 3 为 Grok-4.20、GPT-5.4、Claude-Opus-4.6；Study 4 仅 Claude-Opus-4.6。Studies 1–3 统一采用既往证实最优的「信息优先」提示；Study 4 改用「影响力-效能」提示（具体说明单笔捐款如何转化为可量化的现实结果、正面回应「杯水车薪」顾虑）。值得注意的伦理/安全细节：Studies 1–2 所用的 Claude Opus 4.1 是经英国人工智能安全研究院取得的非公开研究版本，原因是公开版拒绝执行要求其说服他人的提示。
• 吞吐量约束（Study 2）：延迟由截断正态抽样（均值 92 秒、SD 70、下限 5、上限 300）人工注入；词长无法靠提示钉死，故用滞后自适应匹配逐日重设目标 ℓt = (Ē − pt·M̄t) / (1 − pt)，其中 Ē 为 Study 1 顶级辩手的均值消息长度、M̄_t 为该模型至第 t 日的累计均值、p_t 为已采集份额，使累计均值在采集结束时收敛到辩手均值。预注册目标为 51 词 / 92 秒，实际落在约 55 词，而不受限组为约 250–320 词。
• 结果变量的操作化：
  · Studies 1–3（态度）：三题 0–100 滑块的均值 —— attitude = mean(支持度, 100 − 「这项政策是个坏主意」, 「这项政策会有好结果」)，第二题反向计分；聊天前后各测一次。另测议题重要性与议题知识各一题。
  · Study 4（行为）：被说服者获得一笔真实的 1 英镑研究奖金，自行决定捐给救助儿童会的比例，连续计分 0–100（0 = 全留、£0.00；100 = 全捐、£1.00），所选金额真实划转，且对照组同样测量。报告口径：1 个百分点 = 人均多捐 1 便士。另有 14 题电池（每机制 2 题）测七种预注册捐赠机制。
  · 搭档评分：七题电池（论证强度、学到多少、被理解感、愉悦、拟人度、欺骗感、偏向性）。
• 信息量测量与信度：两阶段自动事实核查管线 —— 阶段一由模型从每条说服者消息中抽取可核查的事实主张（区别于意见、价值判断、修辞问句），阶段二由联网搜索的模型逐条给出 0–100 的真实性分。该管线沿用既往研究并已做过人工验证：与人工编码在抽取条数上 r=0.87、在准确性评分上 r=0.84。辩手资历编码则由 Claude Opus 4.5（temperature=0）按固定评分册独立编码，逐人编码结果与证据引文全部公开。参与度筛查由 GPT-4 评判。论文未报告 Cohen's κ 一类传统编码者间信度。
• 模型（Studies 1–3）：预注册线性混合效应模型 post ~ pre + issue + group + attempt + (1|persuader) + (1|persuadee)，其中 post/pre 为后/前测态度（0–100），issue 为 10 水平固定效应，group 为条件因子（对照为参照组），attempt 为该被说服者已完成对话数，说服者与被说服者进入交叉随机截距。
• 模型（Study 4）：donation ~ pre_support + pre_willingness + age + ideology + group + (1|persuader)，单次会话设计故省去被说服者随机截距与 attempt；ideology 为五水平有序因子，group 为三水平因子。
• 推断：R 4.4.3 + lme4 + emmeans，渐近 Wald（z）推断，除稳健性中的逐说服者单侧检验外均为双侧；不做多重比较校正，每个预注册对比各自视为一个推断族（即不施加 emmeans 的 Dunnett 校正）；调节效应族内施加 Benjamini–Hochberg 校正。
• 排除与流失：预注册排除处理前退出者与未通过参与度筛查者；其余缺失按分析内逐案删除。处理后流失率 5.0% / 4.3% / 4.9% / 3.5%（Studies 1–4）。条件独立性检验：Study 1 χ²(4)=11.35, p=0.023；Study 2 χ²(3)=17.51, p<0.001；Study 3 χ²(2)=0.03, p=0.99；Study 4 χ²(2)=1.29, p=0.53。对 Studies 1–2 的失衡计算 Lee trimming bounds，所有正向对比的界严格为正，唯一含零者是本就为零的 Constrained AI vs 受训辩手。
• 重复参与：Studies 1–3 的 4056 位被说服者中 3065 人（75.6%）完成多于一场，最多 9 场；「同一议题不重复」在 16089 场中仅 3 场（0.02%）因匹配竞态而失效。仅取每人首场重拟：模型仍 +13.6 pp（95% CI [+11.6, +15.7]），对各人类类别领先 +3.9 至 +7.1 pp，全部 p<0.01；加入 group×attempt 交互的联合检验不显著（LRT χ²(6)=9.5, p=0.15）。
• 伦理与开放：经牛津互联网研究院系级研究伦理委员会（编号 2255223）与英国人工智能安全研究院研究保障委员会批准；全体参与者签署知情同意；四场实验与选拔赛均在收数据前预注册于 OSF；会话结束后向被说服者与说服者分别呈现汇报页（含撤回数据的权利与研究者联系方式）；数据与分析代码公开于 GitHub 并在 Zenodo 存档（doi 10.5281/zenodo.20629034）。

R. Results（结果）

一、态度说服：模型对全部五类人类均有显著优势（相对主动对照的百分点差，括号内为 95% Wald CI）

Studies 1–2 汇总的模型效应为 13.9 pp，Studies 1–3 汇总为 13.3 pp。受训辩手的 9.7 pp 是全研究中最高的人类效应，仍低于模型约 4 个百分点。

二、两项「缩差」干预：教练无效，限速有效

• 教练干预的行为效果是真的：43 位回锅辩手每条消息多写 +9.8 词（95% CI [+2.6, +17.0]，配对 t(42)=2.75, p=0.009，相对 Study 1 的 52.5 词/条为 +19%）；每场多抛 +1.6 条可核查事实（95% CI [+0.9, +2.4]，配对 t(39)=4.44, p<0.001，相对 3.0 条/场为 +54%）。混合效应交叉验证同向（+9.6 词、+1.6 条，均 p<0.001）。
• 但说服力没有显著提升：受训后 vs 受训前同一批人 +1.0 pp（95% CI [−0.5, +2.5]，p=0.20）。模型对其领先从 +6.0 pp（[+4.6, +7.4]）缩到 +4.1 pp（[+2.5, +5.7]）——缩小但未闭合。
• 吞吐量约束令优势归零：Constrained AI vs 受训辩手 0.0 pp（95% CI [−1.7, +1.6]，p=0.96）；不受限模型 vs 受限模型 +4.2 pp（[+2.8, +5.5]，p<0.001）。参照量：Study 1 顶级辩手 54 词/条、约 95 秒延迟；不受限模型 294 词/条、亚秒级延迟；受限模型实际约 55 词、约 92 秒。

三、稳健性：没有任何个体人类匹敌模型

• Studies 1–2 共估出 318 个逐说服者效应（275 位唯一人类；43 位受训辩手各贡献受训前后两个），无一超过汇总模型效应；最高个体为一位受训辩手的 9.9 pp（经验贝叶斯随机效应预测），仍低于模型 4.0 pp。
• 按各类隐含的逐说服者分布外推，「随机新抽一位说服者能超过模型」的预测概率每一类都低于 0.1%（最大尾部为选拔高手 0.09%）。改用固定（未收缩）效应重拟后，318 个估计中仅 3 个在单侧 p<0.05 上名义高于模型（最小 p=0.010），远低于 α=0.05 下预期的约 16 个假阳性。
• 逐议题：10 个政策议题全部 p<0.05，效应 3.0–9.6 pp（S1–2 框架；S1–3 重拟为 2.9–9.7 pp）。
• 逐子群：14 项预设切分共 49 个水平，46 个在 p<0.05 上显著（S1–3 重拟为 44/49），效应 3.3–10.0 pp。
• 调节效应：14 个候选调节变量中仅 2 个通过族内 BH 校正 —— 处理前态度（25 百分位 8.7 pp vs 75 百分位 3.7 pp，p_int<0.001, q<0.001）与处理前议题知识（7.0 pp vs 5.4 pp，p_int<0.001, q<0.001）。即初始立场越远、自认越不懂的人，越容易被模型说动。共情性信任仅名义显著（q=0.20）；政治知识无显著交互。

四、机制：优势来自信息吞吐，而非共情或拟人

• 选择性压低信息项：约束模型后，七项搭档评分中下降最多的正是两个信息性条目 —— 「论证强度」与「学到多少」各降约 −11.8 pp；被理解感 −6.8、愉悦 −6.4（约为一半）；而拟人度反向上升 +7.5 pp。证实约束作用于信息内容而非温情、融洽或拟人感。
• 事实密度：不受限模型约 37 条可核查主张/场 → 受限模型约 12 条；顶级辩手仅约 3.0 条。跨人机条件，该指标对说服效果的解释力 R2 = 0.89（总体）、0.89（人类内）、0.90（模型内）。
• 关键的伪证式检验：把后测态度回归到 log 可核查主张数 + 人机哑变量（含常规协变量与交叉随机效应）后，人机哑变量的系数小且不可与零区分：β_human = −0.9 pp（[−3.0, +1.1], p=0.38，剔除受限模型）；β_human = +1.4 pp（[−0.1, +3.0], p=0.07，全样本）。加入 Study 3 后为 +1.2 pp（[−0.5, +2.9], p=0.16，n=10387）。
• 议题内、条件内亦成立：在 post ~ pre + issue + condition + n_fact_claims + attempt + (1|persuader) + (1|persuadee)（n=10387 场、17 条件、10 议题）中，每多 1 条可核查主张对应 +0.07 pp（[+0.04, +0.09], p<0.001）；每 10 条对应 +0.68 pp（[+0.42, +0.94]）。
• 准确性与说服力脱钩（最关键的负面发现）：管线共评分 316850 条主张、来自 13183 场已核查对话；以真实性分 >50 为准，整体仅 51% 准确（均值 52）。人类 73% vs 模型 47%。模型间差异极大：Claude Opus 4.1（S1）与 Grok 4.20（S3）约 21%，Gemini 2.5 Pro 约 85%，GPT-5.4 约 97%；Study 4 捐款情境 91%，而政治议题情境各约 47%。跨条件上准确性与说服力关系弱负向（R²=0.13）：全研究最能说动人的一组（S1–2 不受限的 Claude Opus 4.1，约 +15 pp）恰是核实率最低者之一（约 22%）。作者注明的重要限定：S1–2 的 Claude 是非公开研究版本，S3–4 公开版 Claude Opus 4.6 的核实率约 74%。

五、Study 4：真实货币行为 —— 「近 3 倍」的确切口径

「近 3 倍」= 17.2 / 6.4 ≈ 2.7，即两者各自相对主动对照的处理效应之比，而非原始捐款额之比、也非捐款人数比例之比。度量尺为「所捐占 1 英镑奖金的比例」，1 pp 相当于人均多捐 1 便士；故 +10.8 pp 约等于人均多捐 10.8 便士。两条边际同时为正，说明模型既拉新（更多人肯掏钱）又提额（掏钱的人给更多）。

• 机制电池：七种预注册捐赠机制（情绪激活、执行意向、身份标签、承诺升级、预期后悔、议题信息、影响力-效能），每机制 2 题共 14 题。模型在 7/7 机制（Welch's t，均 p<0.05）与 14/14 单题（均 p<0.05）上均高于拉票员。差距最大者：执行意向 +15.0 pp、承诺升级 +12.6 pp、影响力-效能 +10.3 pp。
• 值得玩味的一点：模型只被提示使用「影响力-效能」一种策略，却在它没被要求使用的另外六种机制上同样胜出——提示未必能限定模型实际的说服路径。
• 共享的搭档评分同样一致：被说服者认为模型论证更强、教会自己更多，且更有共情、更令人愉悦。

a / D. Discussion & Conclusion（讨论与结论）

• 对说服研究的理论意义：基准线换了。政治传播长期被「最小效果」范式定义——竞选接触与政治广告效果微小，唯一稳定的例外是耗时的深度人际对话。本文的结果不是推翻最小效果，而是把那个稀缺的例外变成可无限复制的商品。更重要的是，机制证据指向一个去心理化的解释：优势不在读心、不在共情、不在拟人（拟人度在受限组反而更高），而在单位时间的信息吞吐量。这与「说服=关系质量」的人际传播直觉相悖，却与「论辩性、事实密集对话最能撬动态度」的既有证据一致。
• 对「态度-行为」断裂的推进。既往研究发现模型的态度效应与行为效应可以互不相关，且信息密集的对话对撬动真实政治行动反而较弱。本文用真实货币给出反例：同一支模型换用「影响力-效能」提示后，在真钱捐款上仍以约 2.7 倍的控制后效应领先职业募捐者。但作者自己强调这是低风险行为（上限 1 英镑），不能直接外推到投票、大额定期捐赠或公共卫生依从。
• 对平台治理与监管的直接启示（本文最可操作的一条）。唯一闭合了人机差距的干预不是训练人类、不是约束内容，而是约束结构性吞吐——限制消息长度与回复速度。这把治理抓手从「说了什么」（内容审核，难判定、易触及言论自由）移到了「单位时间能说多少」（速率与长度限制，可技术执行、立场中立）。同时，「识破即免疫」的自我限制假说证据很弱：既有研究发现标注「AI 生成」并不削弱说服力。
• 权力分配：双向且不确定。作者提出两条集中化路径：(i) 使用侧集中——能最快取用最强系统者（大企业、竞选团队、国家）放大既有的话语不平等；(ii) 供给侧集中——即便双方平等取用，真正的杠杆握在模型建造者手里，因为是他们决定模型愿意替哪些立场说话（引 OpenAI Model Spec 与 LLM 政治倾向研究）。此时权力流向供应商而非使用者，即使用户端完全平等也会发生。反向可能同样成立：廉价的高强度说服可以帮到自辩当事人、公派辩护人、小型慈善与草根组织，缩小司法可及性差距。
• 信息生态：作者亲手给自己的乐观预期加了刺。「模型带来更多信息 → 公民更明白」这一推论，被其自身的核查数据部分推翻：整体仅 51% 主张可核实，模型 47% 远低于人类 73%，且准确性与说服力弱负相关。作者因此把评判标准定在相对项上：净效应取决于模型说服的真实性相对于它所替换掉的那些说服，而非其绝对真实性。
• 生态效度的四道刹车（作者自陈）。(1) 触达受限：可聊天的平台受登录与实名验证把关，且随模型能力增强，数字空间的安全化只会加剧；(2) 识破免疫证据薄弱，不宜当作指望；(3) 量比质更重要：大规模传播中「曝光量」的方差远大于「每次曝光说服力」的方差，且既有态度与有限注意历来限制大规模持久意见变迁；(4) 本研究条件苛刻：中位 14 分钟、持续投入的文字对话，在付费问卷情境之外很难复制。
• 作者列出的三项局限与未来方向。(1) 模态：只有文字；语音、视频、面对面下人类是否因融洽与具身共情而占优仍未知（不过既有高效力研究显示视频相对文字的说服增益很小，且在视频对话中加入高质量的非评判式倾听并未提升说服）；(2) 风险层级：1 英镑捐款虽真实但低风险；(3) 替代还是填空：必须先刻画模型说服替换掉了什么，才能把每场对话的效应换算为社会净影响。
• 方法上值得警惕的几处。Studies 1–2 存在条件间差异性流失（p=0.023 与 p<0.001），作者以 Lee bounds 应对且界严格为正；不做多重比较校正（每个预注册对比自成一族），在 318 个逐说服者检验上则以「预期假阳性数」而非校正来论证；论文未报告传统编码者间信度（κ），事实核查管线的信度来自既往研究的人工验证（r=0.87 / 0.84）。另外，Studies 1–2 使用的 Claude 是非公开研究版本（公开版拒绝执行说服提示），这既是一处外部效度限制，也本身是一个值得记录的安全对齐事实。
• 伦理与开放科学。经牛津互联网研究院系级研究伦理委员会（编号 2255223）与英国人工智能安全研究院研究保障委员会批准；知情同意；四场实验与选拔赛均事前预注册于 OSF；结束后向双方呈现汇报页并告知撤回权；捐款真实划转给救助儿童会；数据与代码全量公开（GitHub + Zenodo, doi 10.5281/zenodo.20629034）。需要指出的是，论文并无独立的伦理讨论章节——对「让机器在真人身上做单盲说服」这一设计本身的伦理权衡，主要以伦理审批、知情同意与汇报程序来承载，而规范性讨论被放在引言的滥用风险与讨论的权力分配两处。
• 资助与利益声明。由英国人工智能安全研究院资助；作者声明无竞争性利益。Prolific 提供招募支持，AppcoUK 提供募捐专业协作。