🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
过去几年,社交媒体上的假消息越来越多,平台过去常请专人做事实核查,给可疑内容贴上警示标签。很多研究发现,这种标签确实有效,能让人少信、少转发假消息。更让人意外的是,不管观众偏左还是偏右,标签的效果都差不太多,立场好像并不太影响判断。可是现在情况变了。平台为了省钱,也顶着政治压力,陆续把真人核查员撤掉,换成可以随时对话的大语言模型聊天机器人,比如某些社交平台上那种被点名就出来回应的机器人账号。
机器人跟真人很不一样。它可以按要求把自己“打扮”成偏左或偏右的人,比如只引用某一派媒体的报道、用某一派习惯的说法,甚至设定一个带政治色彩的性格。也就是说,用户很可能专门挑一个跟自己立场一致的机器人来问。那么问题来了,一个“有立场”的核查机器人,还能像过去的真人核查一样,让不同立场的人都接受它的结论吗?这正是本文要回答的。
② 研究问题(要回答什么?)
本文把问题拆成两个。第一个问题是,由政治立场一致或者不一致的机器人给出的核查信息,到底能不能起作用,具体又分两面:能不能让人更不信假消息,能不能让人更相信真消息。第二个问题是,被核查的新闻本身离用户的立场近不近,会不会改变机器人的效果。也就是说,同一条离用户立场很远的新闻,如果由一个立场也离得很远的机器人来核查,效果会更好还是更差。
作者没有先假定方向,而是把这两个问题放在两个独立实验里分别检验,看结论稳不稳。这里说的“立场一致”是用户主观感受到的,也就是用户觉得这个机器人跟自己像不像,而不是研究者一开始把它设计成哪一派。这个区分很关键,因为用户感知到的距离,才是真正影响他们判断的东西。
③ 研究方法(怎么做的?)
研究者做了一个能实时上网查资料的网页聊天机器人来当实验工具。这个机器人可以用搜索引擎找最近的新闻网页,然后给出一个明确判断,也就是真、假或者无法核实,还会附上引用来源和一段解释。研究者就是靠调整它只许引用哪些媒体、以及给它的“人设”提示词,把它分别变成偏左和偏右两个版本。为了避免机器人乱说,他们还要求它先给结论、篇幅别太长、尽量引用专业事实核查网站,并且主动追问,把对话继续下去。
他们招募了两批美国成年人来做在线实验,加起来七百多人,都是从同一个有偿众包平台找来的。第一批人被随机安排先后使用偏左和偏右两个机器人,用第一个查四条新闻,再用第二个查另外四条;第二批人反过来,自己挑一个机器人,用它查完所有新闻。每个人都会看到若干条政治新闻标题,一半真一半假,立场左右各半。流程是这样的:先给每条新闻的信任度打分,再跟机器人聊天,聊完回来对同一条新闻再打一次分。两次打分的差,就是研究者真正关心的结果。因为每个人都会反复打分,所以统计上用的是带随机截距的混合效应回归。
④ 结果(发现了什么?)
好消息是,机器人确实管用。当机器人把一条真新闻正确判为真,人们对它的信任平均升高接近一分;当机器人把假新闻正确判为假,信任平均下降约零点八分。这些变化都经过了统计检验,非常非常显著,正反两个实验的结果也一样。
让人意外的是,机器人“站哪边”几乎没有影响。哪怕用户清楚地感觉到这个机器人跟自己不是一路人,他们照样会因为核查结果改变判断。只有在一条新闻离用户立场特别远的时候,机器人的立场才显出一点作用。如果核查这条“远方”新闻的机器人立场也离用户很远,用户对真新闻的信任就升得少一些;换成一个立场比较中立的机器人来核查,信任就升得多一些。奇怪的是,这个规律只在真新闻上出现,假新闻上找不到。
最让人担心的是,机器人判错的时候,人们照样会跟着改。当它把真新闻错判成假,信任平均下降将近一分;当它把假新闻错判成真,信任平均上升约零点三分到零点五分。它含糊地说“无法核实”时,用户通常也会降低信任。换句话说,它既能大范围纠错,也能大范围带偏。
⑤ 讨论(这些发现说明什么?)
作者认为,机器人立场影响之所以这么小,一个可能的解释是,人们习惯性地把人工智能看成冷静、客观、没有私心的工具,这种观感盖过了“它是不是跟我一派”的顾虑。只要信息来源被打上“机器”的标签,用户对它党派色彩的敏感度就会下降,反而更愿意听它的话。这也解释了为什么一些只带简单机器标识的提示,就能削弱人们对党派偏见的怀疑。
另一个值得注意的地方是,过去的核查工具常常只擅长“压假”,也就是让人少信假消息,却不太能让人对真消息更有信心。这次的结果显示,对话式机器人两个方向都能推动,这算是一个进步。不过作者提醒,实验里的机器人是为核查任务精心调好的,还强制它引用专业核查网站,所以判断又准又稳;真实平台上那些通用机器人未必有这个水平。一旦它们判错,破坏力反而更大,因为它们说话听起来总是很笃定。
⑥ 结论(最终结论 + 启示)
作者总结说,把事实核查交给大语言模型,并没有破坏它在不同政治立场人群里的整体有效性,但这份有效是很脆弱的。它成立的代价是机器人绝大多数时候要判对;一旦判错,用户同样会照单全收。所以结论有两面:机器人大规模纠错是真的可能,大规模“污染真相”也一样可能。
作者建议,研究者和平台要继续给这类机器人做防护,也要教会公众怎么用。他们还提醒,能决定机器人偏向哪种立场、引用哪些来源的,世界上只有少数几家公司,这份集中起来的话语权本身就值得警惕。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
事实核查是传播学中最成熟、部署最广的干预之一。既有研究反复发现,核查与警示标签能降低人们对虚假信息的信任、准确性感知与分享意愿(Martel & Rand 2023),且这一效果对党派差异高度稳健:Horne et al. (2019)、Pennycook et al. (2020)、Porter & Wood (2022)、Horne (2025) 等均未发现党派显著削弱纠偏,反向的“回旋镖效应”也罕见(Wood & Porter 2019;Guess & Coppock 2020)。
但核查成本高、依赖人工,难以实时规模化。随着 X/Twitter 等平台在美国政治压力下退出第三方人工核查(Horne & Craig 2025),通用大语言模型聊天机器人(如 Grok、Perplexity)被直接嵌入平台并开始承担事实核查。这类机器人有一个关键新属性:可被意识形态地“配置”——通过回应中强调的内容、引用的信源、以及设定的人格(Kröger & Barkett 2025)。代表性案例是 Grok 被明确设定为“不 woke”、输出偏保守;初步证据显示共和党用户更倾向选择 Grok 而非中立的 Perplexity 做核查(Renault, Mosleh & Rand 2025)。
这带来一个尚未回答的问题:当核查主体从人类换成可配置立场的 LLM,过去“跨党派普遍有效”的结论是否仍然成立?本文贡献有三:其一,把 LLM 事实核查研究推进到意识形态可配置的机器人并置于真实对话环境;其二,用跨立场平衡的标题集检验有效性;其三,同时讨论自动化核查的正负两面外部性。
I. Theoretical Framework & Hypotheses(理论框架与假设)
本文不预设方向性假设,而以两条研究问题(RQ)驱动,并借两个理论框架给出机制预期。
(1)委托—代理与逆向选择。把新闻消费者视为委托人、核查者视为代理人(Jensen & Meckling 1976)。人类代理人被建模为追求效用最大化的行动者(Eisenhardt 1989),而 LLM 的输出由训练数据、架构与设计约束塑形,缺乏内在偏好。这产生逆向选择:消费者事先无法评估 LLM 的训练、领域能力或偏见。但因 LLM 能随时给出解释、证据与追问,委托人可能更依赖事后的输出特征、而非事前的质量信号——这使 LLM 核查重塑了传统代理关系。
(2)启发式—系统式加工模型(HSM;Chaiken 1980)。个体依努力成本与信心需求在启发式与系统式加工间切换。“努力”不是固定的,取决于信息环境:传统人类核查往往只提供一个简单启发式线索(真/假),系统式加工需额外成本;而对话式 LLM 能低成本地提供解释、证据与追问,显著提高精细加工的机会,进而改变用户对建议的依赖。
(3)机器启发式。人们倾向认为 AI 客观、准确(Sundar 2020),简单的 AI 来源线索即可降低被感知的党派偏见(Cloudy, Banks & Bowman 2023),并提升内容标签效果(Horne 2025)。据此预期机器人自身立场的作用会被削弱。
| 编号 | 研究问题 | 对应理论 |
|---|---|---|
| RQ1a | 政治立场一致/不一致的 LLM 机器人能否降低对假新闻的信任? | 委托—代理逆向选择;HSM;机器启发式 |
| RQ1b | 政治立场一致/不一致的 LLM 机器人能否提升对真新闻的信任? | 同上 |
| RQ2 | 被核查标题的政治距离如何调节机器人核查的有效性? | HSM(努力成本随信息环境变化)+ 机器启发式 |
M. Materials & Methods(材料与方法)
- 设计。两个被试内实验(within-subjects),每位被试同时经历控制条件与处理条件。Study 1 采用随机分配的机器人顺序(先左后右或先右后左,顺序经过随机化,补充材料显示顺序对因变量无显著影响);Study 2 改为被试自选机器人。两研究均先做控制期信任评分,再与机器人对话,最后重评。
- 样本。合计 n=705 = Study 1 招募 412 人 + Study 2 招募 293 人,均来自 Prolific。Study 1 由两个子样本构成:294 人取自年龄/性别/党派代表的美国代表性样本,118 人在党派(共和党/独立/民主党)上平衡;另招募 150 人做三轮预试验,首轮因设计大改而剔除,其余并入正式样本(另 8 人因注意力检查不合格剔除)。Study 2 为美国代表性样本,另 7 人因注意力检查不合格剔除。两研究均付 4 美元/20 分钟,中位参与时长略低于 20 分钟。
- 刺激材料。先建 200 条政治新闻标题(半数为假,取自 Snopes/PolitiFact/FactCheck.org/Reuters Fact Check,真标题 38% 来自核查机构、62% 来自路透与美联社,均为近六个月内)。另请 356 名互斥被试在 5 点量表上评“若为真,对民主党/共和党有多有利”,剔除均值落在 2.75–3.25 的中性标题 43 条,余 157 条;再从真右/真左/假右/假左四类各随机抽 33 条构成最终刺激集。
- 自变量操纵。机器人 = GPT-5.1(medium reasoning)+ Exa API 实时检索(每次≤25 条结果,限 2025-01-01 之后、美国站点)。通过两条途径制造党派偏向:信源层按 AllSides 媒体倾向图限制检索域,语言层用 system prompt 注入左右意识形态人格(模板取自 Chen et al. 2024)。统一回应协议:先给判定标签、≤300 词、至少引 3 家配置媒体、尽量含 1 家第三方核查源、结尾追问。首次回应的协议合规率:99.6% 未超 300 词、100% 以判定开头、95.6% 含 markdown 引用、93.8% 满足三信源要求、97.3% 以追问收尾。
- 因变量。
TrustΔ = Trust_control − Trust_treatment,信任用 5 点量表(completely distrust 至 completely trust)。 - 核心自变量。①
Bot said X:机器人判定,取 True / False / Unverifiable 的分类变量;②Bot≠:感知政治距离,Bot≠ = |PL − PBL|(EQ1),PL 与 PBL 均为 7 点;③Headline≠:标题政治距离,Headline≠ = |PL − (6/4·HPL + 1)|(EQ2),HPL 由 5 点线性变换为 7 点以对齐被试立场量表。 - 估计模型。因存在被试内重复测量,主分析为带被试随机截距的混合效应回归,并按标题真伪分别建模;主模型为 EQ3:
TrustΔ = Bot said True + Bot said False + Bot≠ + Headline≠ + Bot≠ × Headline≠(EQ3),真/假标题各独立估计,Study 1 与 Study 2 各自拟合。 - 稳健性与补充检验。另拟合同时对被试与标题设随机截距的模型(结论一致);用两研究合并数据构造被试间模型以考察“自选机器人”的影响(均在补充材料);并用 Kolmogorov–Smirnov 检验与 Cliff’s δ 描述分布差异与效应量。
R. Results(结果)
- 效力检验(操纵检查)。多数被试正确感知了左右机器人的设计:在排除政治温和者后,一致与不一致机器人条件下的感知距离分布显著不同(KS=0.225, p=2.4e−61, Cliff’s δ=0.29);纳入全部被试时差异更大(KS=0.396, p=9.26e−96, δ=0.54)。
- Study 2 机器人选择。选择基本反映被试立场:88.8% 自由派选左机器人、64.2% 保守派选右机器人、75.4% 温和派选左机器人。
- 机器人正确率。左机器人判假标题正确率 90%–91%、判真 88%–91%;右机器人判假 85%–91%、判真 80%–86%(右机器人两研究均略低)。同一标题在不同会话间判定高度一致。
- 核实结果(Table 2)。正确判定下信任变化呈中到大效应量:真标题 Study 1 KS=0.368 (p=6.64e−84, δ=−0.47)、Study 2 KS=0.423 (p=4.72e−84, δ=−0.54);假标题 Study 1 KS=0.343 (p=3.26e−76, δ=0.37)、Study 2 KS=0.391 (p=6.04e−73, δ=0.41)。
- 信任变化的量级。正确判真时信任平均 +0.93(Study 1)/ +1.09(Study 2);正确判假时 −0.78(Study 1)/ −0.85(Study 2)。方向与既往核查文献一致。
- 判错也照样改信任(关键负面结果)。把真新闻错判为假:信任 −0.96(Study 1)/ −1.02(Study 2),呈小到中效应量(Study 1 true 错判 KS=0.370, p=8.91e−09, δ=0.37;Study 2 true 错判 KS=0.490, p=6.33e−06, δ=0.42)。把假新闻错判为真:信任 +0.45(Study 1)/ +0.27(Study 2)(Study 1 false KS=0.242, p=0.000815, δ=−0.19;Study 2 false KS=0.221, p=0.0466, δ=−0.14)。
- 无法核实的判定。方向不稳:真标题 Study 1 −0.63 但 Study 2 +0.19;假标题两研究一致下降 −0.49(Study 1)/ −0.66(Study 2)。总体上不确定答案倾向于降低信任,但并非每次都显著。
- 机器人立场的主效应与交互(核心发现)。Study 1 真标题上感知机器人距离的主效应显著(
Bot≠ β=0.099, p<0.05),假标题上不显著;Study 1 真标题上Bot≠ × Headline≠交互显著(β=−0.051, p<0.01),即政治距离远的标题被立场同样远的机器人核查时,真新闻信任提升更少;被较中立的机器人核查时提升更多。图 5c 显示该交互为单侧:仅在“远标题”上,感知中距离机器人与感知远距离机器人的信任变化分布显著不同(KS=0.235, p<0.001, δ=0.27);在立场较近的标题上(图 5b)各机器人距离间均无显著差异。 - 设计与感知一致性。以“设计一致”(如保守派遇到右倾机器人)与“感知一致”分别切分:两者都显示真标题在一致机器人下信任提升更多,但效应可忽略(设计一致 KS=0.117, p=0.000176, δ=0.11;感知一致 KS=0.092, p=0.0396, δ=0.09)。
- Study 2 差异。仅在假标题上,标题自身立场有显著主效应:
Headline≠ β=0.157, p<0.01,即立场一致的假新闻信任下降更少。Study 2 未出现显著的机器人与标题交互,作者归因于多数被试自选了立场一致的机器人(选择效应压缩了Bot≠的取值变异)。 - 党派差异。初始信任上,保守派对“需核查的真标题”信任低于自由派(Study 1 KS=0.131, p<0.05, δ=0.15;Study 2 KS=0.213, p=0.01, δ=0.28),而对来自权威媒体的真标题与假标题无党派差异。处理后该差距仍存在(Study 1 KS=0.149, p<0.05, δ=0.16;Study 2 权威真 KS=0.168, p<0.01, δ=0.17、核查真 KS=0.220, p<0.001, δ=0.23)。作者认为部分源于保守派对 Snopes 等核查站的既有不信任。
| 模型 / 自变量 | 系数 β | p 值 | 结论 |
|---|---|---|---|
| Study 1 · 真标题 · Bot≠ | +0.099 | <0.05 | 感知机器人距离越大,真标题信任提升越多 |
| Study 1 · 真标题 · Bot≠ × Headline≠ | −0.051 | <0.01 | 两个距离同时大时信任提升被抵消(单侧交互) |
| Study 2 · 假标题 · Headline≠ | +0.157 | <0.01 | 立场一致的假标题信任下降更少 |
| Study 1 / 2 · 假标题 · Bot≠ | 不显著 | n.s. | 机器人立场不影响对假新闻的降信 |
a / D. Discussion & Conclusion(讨论与结论)
- 理论意义一:跨党派有效性从人迁移到机器人后依然成立。在真实对话环境中,无论机器人立场与被试一致与否、新闻立场如何,核查整体上仍是有效的。这支持把“核查跨党派稳健”的结论外推到 LLM 核查场景,也补充了 DeVerna et al. (2024) 的相反发现——作者归因于三点差异:(1) 本研究把 LLM 专门配置为核查任务并接入实时检索,而对方用未配置的通用 ChatGPT;(2) 本研究标题均为六个月内,对方时效跨度大;(3) 本研究用可无限次交互的真实机器人,对方用截图。
- 理论意义二:机器启发式压过党派一致性。尽管操纵被正确感知,机器人立场的作用仍然很弱,作者以机器启发式(Sundar 2020)解释:AI 来源线索降低被感知的党派偏见(Cloudy et al. 2023),从而提高标签有效性(Horne 2025)。此外,交互仅在“远标题”上单侧显著,说明一致性线索只在立场距离本身已构成认知张力时才被调用。
- 理论意义三:双向纠错与“污染真相”并存。既往核查干预偏重“压假”。本研究表明对话式 LLM 同时能提升对真新闻的信任。但代价是错误与不确定的判定同样显著改变信任(与 Freeze et al. 2021、Horne & Nevo 2025 的 tainted truth effect 一致),且 LLM 即使在错误时也“听起来很确定”(Rathi, Jurafsky & Zhou 2025)。本研究中的机器人经过精心配置、正确率很高;通用机器人(如 ChatGPT 仅 15% 正确标真,DeVerna et al. 2024)风险更大。
- 实践与治理启示。谁有权配置与部署模型,谁就可能“对公共话语获得不成比例的影响力”(Kröger & Barkett 2025)。由于资源壁垒,只有少数公司掌控 LLM 所有权(Sathish et al. 2024),把模型导向特定意识形态、框架与“真相”的权力也因此集中。现行监管框架(尤其美国)难以问责与设防(Fang & Perkins 2024)。作者主张学界应同时建设防护机制并开展公众教育。
- 局限。(1) 为追求真实性而牺牲了控制:动态生成文本、实时在线信息与多样用户提示引入大量未知变量,未来应分析“提示 × 生成文本”的组合效应;(2) 自选机器人(Study 2)带来选择效应,压缩了感知距离的变异,可能是交互不显著的原因;(3) 机器人正确率受限于被限定信源,右机器人系统性略低;(4) 未考察长期信念变化与分享意愿等下游行为。
- 资助。论文正文未报告资助来源;补充材料与预注册见 OSF(osf.io/fyjcx)。
🧠 IRMaD 思维导图
mindmap
root((有立场的事实核查机器人))
I 引言
平台弃用真人核查
换成对话式机器人
机器人可按立场配置
跨党派有效性存疑
R 研究问题
RQ1 立场一致有没有用
RQ2 新闻距离如何调节
不设方向性假设
用交互项探索
M 方法
两个被试内实验
合计七百零五人
真机器人实时联网
信源过滤加人设提示
四类标题各三十三条
混合效应随机截距
R 结果
正确判真信任上升
正确判假信任下降
机器人立场影响极小
远标题上交互单侧
判错照样改变信任
不确定答案也降信
a 讨论
机器启发式压过党派
双向纠错是进步
通用机器人更危险
配置权集中在少数公司
监管框架不足
D 结论
跨党派整体仍有效
有效性依赖判对率
能纠错也能污真相
需防护与公众教育
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。