ICWSM 2027 (to appear) · 计算传播/社交媒体顶会 · arXiv cs.CY

政治立场一致与不一致的大语言模型事实核查信息的有效性

Jiangen He, Benjamin D. Horne, Dorit Nevo · ICWSM 2027 (to appear) · arXiv preprint · 2026 · arXiv: 2607.15364
原题:On the Effectiveness of Fact Checking Information from Politically Congruent and Incongruent Large Language Models
Open Access 新颖度 0.78

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

过去几年,社交媒体上的假消息越来越多,平台过去常请专人做事实核查,给可疑内容贴上警示标签。很多研究发现,这种标签确实有效,能让人少信、少转发假消息。更让人意外的是,不管观众偏左还是偏右,标签的效果都差不太多,立场好像并不太影响判断。可是现在情况变了。平台为了省钱,也顶着政治压力,陆续把真人核查员撤掉,换成可以随时对话的大语言模型聊天机器人,比如某些社交平台上那种被点名就出来回应的机器人账号。

机器人跟真人很不一样。它可以按要求把自己“打扮”成偏左或偏右的人,比如只引用某一派媒体的报道、用某一派习惯的说法,甚至设定一个带政治色彩的性格。也就是说,用户很可能专门挑一个跟自己立场一致的机器人来问。那么问题来了,一个“有立场”的核查机器人,还能像过去的真人核查一样,让不同立场的人都接受它的结论吗?这正是本文要回答的。

② 研究问题(要回答什么?)

本文把问题拆成两个。第一个问题是,由政治立场一致或者不一致的机器人给出的核查信息,到底能不能起作用,具体又分两面:能不能让人更不信假消息,能不能让人更相信真消息。第二个问题是,被核查的新闻本身离用户的立场近不近,会不会改变机器人的效果。也就是说,同一条离用户立场很远的新闻,如果由一个立场也离得很远的机器人来核查,效果会更好还是更差。

作者没有先假定方向,而是把这两个问题放在两个独立实验里分别检验,看结论稳不稳。这里说的“立场一致”是用户主观感受到的,也就是用户觉得这个机器人跟自己像不像,而不是研究者一开始把它设计成哪一派。这个区分很关键,因为用户感知到的距离,才是真正影响他们判断的东西。

③ 研究方法(怎么做的?)

研究者做了一个能实时上网查资料的网页聊天机器人来当实验工具。这个机器人可以用搜索引擎找最近的新闻网页,然后给出一个明确判断,也就是真、假或者无法核实,还会附上引用来源和一段解释。研究者就是靠调整它只许引用哪些媒体、以及给它的“人设”提示词,把它分别变成偏左和偏右两个版本。为了避免机器人乱说,他们还要求它先给结论、篇幅别太长、尽量引用专业事实核查网站,并且主动追问,把对话继续下去。

他们招募了两批美国成年人来做在线实验,加起来七百多人,都是从同一个有偿众包平台找来的。第一批人被随机安排先后使用偏左和偏右两个机器人,用第一个查四条新闻,再用第二个查另外四条;第二批人反过来,自己挑一个机器人,用它查完所有新闻。每个人都会看到若干条政治新闻标题,一半真一半假,立场左右各半。流程是这样的:先给每条新闻的信任度打分,再跟机器人聊天,聊完回来对同一条新闻再打一次分。两次打分的差,就是研究者真正关心的结果。因为每个人都会反复打分,所以统计上用的是带随机截距的混合效应回归。

④ 结果(发现了什么?)

好消息是,机器人确实管用。当机器人把一条真新闻正确判为真,人们对它的信任平均升高接近一分;当机器人把假新闻正确判为假,信任平均下降约零点八分。这些变化都经过了统计检验,非常非常显著,正反两个实验的结果也一样。

让人意外的是,机器人“站哪边”几乎没有影响。哪怕用户清楚地感觉到这个机器人跟自己不是一路人,他们照样会因为核查结果改变判断。只有在一条新闻离用户立场特别远的时候,机器人的立场才显出一点作用。如果核查这条“远方”新闻的机器人立场也离用户很远,用户对真新闻的信任就升得少一些;换成一个立场比较中立的机器人来核查,信任就升得多一些。奇怪的是,这个规律只在真新闻上出现,假新闻上找不到。

最让人担心的是,机器人判错的时候,人们照样会跟着改。当它把真新闻错判成假,信任平均下降将近一分;当它把假新闻错判成真,信任平均上升约零点三分到零点五分。它含糊地说“无法核实”时,用户通常也会降低信任。换句话说,它既能大范围纠错,也能大范围带偏。

⑤ 讨论(这些发现说明什么?)

作者认为,机器人立场影响之所以这么小,一个可能的解释是,人们习惯性地把人工智能看成冷静、客观、没有私心的工具,这种观感盖过了“它是不是跟我一派”的顾虑。只要信息来源被打上“机器”的标签,用户对它党派色彩的敏感度就会下降,反而更愿意听它的话。这也解释了为什么一些只带简单机器标识的提示,就能削弱人们对党派偏见的怀疑。

另一个值得注意的地方是,过去的核查工具常常只擅长“压假”,也就是让人少信假消息,却不太能让人对真消息更有信心。这次的结果显示,对话式机器人两个方向都能推动,这算是一个进步。不过作者提醒,实验里的机器人是为核查任务精心调好的,还强制它引用专业核查网站,所以判断又准又稳;真实平台上那些通用机器人未必有这个水平。一旦它们判错,破坏力反而更大,因为它们说话听起来总是很笃定。

⑥ 结论(最终结论 + 启示)

作者总结说,把事实核查交给大语言模型,并没有破坏它在不同政治立场人群里的整体有效性,但这份有效是很脆弱的。它成立的代价是机器人绝大多数时候要判对;一旦判错,用户同样会照单全收。所以结论有两面:机器人大规模纠错是真的可能,大规模“污染真相”也一样可能。

作者建议,研究者和平台要继续给这类机器人做防护,也要教会公众怎么用。他们还提醒,能决定机器人偏向哪种立场、引用哪些来源的,世界上只有少数几家公司,这份集中起来的话语权本身就值得警惕。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

事实核查是传播学中最成熟、部署最广的干预之一。既有研究反复发现,核查与警示标签能降低人们对虚假信息的信任、准确性感知与分享意愿(Martel & Rand 2023),且这一效果对党派差异高度稳健:Horne et al. (2019)、Pennycook et al. (2020)、Porter & Wood (2022)、Horne (2025) 等均未发现党派显著削弱纠偏,反向的“回旋镖效应”也罕见(Wood & Porter 2019;Guess & Coppock 2020)。

但核查成本高、依赖人工,难以实时规模化。随着 X/Twitter 等平台在美国政治压力下退出第三方人工核查(Horne & Craig 2025),通用大语言模型聊天机器人(如 Grok、Perplexity)被直接嵌入平台并开始承担事实核查。这类机器人有一个关键新属性:可被意识形态地“配置”——通过回应中强调的内容、引用的信源、以及设定的人格(Kröger & Barkett 2025)。代表性案例是 Grok 被明确设定为“不 woke”、输出偏保守;初步证据显示共和党用户更倾向选择 Grok 而非中立的 Perplexity 做核查(Renault, Mosleh & Rand 2025)。

这带来一个尚未回答的问题:当核查主体从人类换成可配置立场的 LLM,过去“跨党派普遍有效”的结论是否仍然成立?本文贡献有三:其一,把 LLM 事实核查研究推进到意识形态可配置的机器人并置于真实对话环境;其二,用跨立场平衡的标题集检验有效性;其三,同时讨论自动化核查的正负两面外部性。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文不预设方向性假设,而以两条研究问题(RQ)驱动,并借两个理论框架给出机制预期。

(1)委托—代理与逆向选择。把新闻消费者视为委托人、核查者视为代理人(Jensen & Meckling 1976)。人类代理人被建模为追求效用最大化的行动者(Eisenhardt 1989),而 LLM 的输出由训练数据、架构与设计约束塑形,缺乏内在偏好。这产生逆向选择:消费者事先无法评估 LLM 的训练、领域能力或偏见。但因 LLM 能随时给出解释、证据与追问,委托人可能更依赖事后的输出特征、而非事前的质量信号——这使 LLM 核查重塑了传统代理关系。

(2)启发式—系统式加工模型(HSM;Chaiken 1980)。个体依努力成本与信心需求在启发式与系统式加工间切换。“努力”不是固定的,取决于信息环境:传统人类核查往往只提供一个简单启发式线索(真/假),系统式加工需额外成本;而对话式 LLM 能低成本地提供解释、证据与追问,显著提高精细加工的机会,进而改变用户对建议的依赖。

(3)机器启发式。人们倾向认为 AI 客观、准确(Sundar 2020),简单的 AI 来源线索即可降低被感知的党派偏见(Cloudy, Banks & Bowman 2023),并提升内容标签效果(Horne 2025)。据此预期机器人自身立场的作用会被削弱。

编号研究问题对应理论
RQ1a政治立场一致/不一致的 LLM 机器人能否降低对假新闻的信任?委托—代理逆向选择;HSM;机器启发式
RQ1b政治立场一致/不一致的 LLM 机器人能否提升对真新闻的信任?同上
RQ2被核查标题的政治距离如何调节机器人核查的有效性?HSM(努力成本随信息环境变化)+ 机器启发式

M. Materials & Methods(材料与方法)

R. Results(结果)

模型 / 自变量系数 βp 值结论
Study 1 · 真标题 · Bot≠+0.099<0.05感知机器人距离越大,真标题信任提升越多
Study 1 · 真标题 · Bot≠ × Headline≠−0.051<0.01两个距离同时大时信任提升被抵消(单侧交互)
Study 2 · 假标题 · Headline≠+0.157<0.01立场一致的假标题信任下降更少
Study 1 / 2 · 假标题 · Bot≠不显著n.s.机器人立场不影响对假新闻的降信

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((有立场的事实核查机器人))
    I 引言
      平台弃用真人核查
      换成对话式机器人
      机器人可按立场配置
      跨党派有效性存疑
    R 研究问题
      RQ1 立场一致有没有用
      RQ2 新闻距离如何调节
      不设方向性假设
      用交互项探索
    M 方法
      两个被试内实验
      合计七百零五人
      真机器人实时联网
      信源过滤加人设提示
      四类标题各三十三条
      混合效应随机截距
    R 结果
      正确判真信任上升
      正确判假信任下降
      机器人立场影响极小
      远标题上交互单侧
      判错照样改变信任
      不确定答案也降信
    a 讨论
      机器启发式压过党派
      双向纠错是进步
      通用机器人更危险
      配置权集中在少数公司
      监管框架不足
    D 结论
      跨党派整体仍有效
      有效性依赖判对率
      能纠错也能污真相
      需防护与公众教育

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。