🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
你有没有在家族群里见过这样的消息:某地出了大事,配一张模糊照片,再加一句“赶紧转给家人”。等专业核查出来,它早就传了好几轮。而且越多人转发,看起来就越像真的,这就是“先传播、后核查”。这类消息有个共同点:它不一定靠细节取胜,而是靠一套很会抓人的说法。更麻烦的是,现在人工智能几分钟就能写出成百上千条这样的假话,语气还特别像真的。过去大家主要靠两招:一是等事实核查员逐条查,二是提醒大家“别急着信”。可新出现的事没人查过,一味怀疑又会把真消息也一起怀疑进去。研究者就想:假话的内容千变万化,但“吓唬你”“拉权威背书”“暗示背后有阴谋”这些套路,是不是反复出现?如果把这些套路整理成一本手册,能不能帮人更快看穿没见过的假话?
② 研究问题(要回答什么?)
这篇论文想弄清楚三件事,核心是说服套路能不能帮人判断陌生说法。第一,真实世界里的假话到底常用哪些套路,这些套路又怎样搭配出现?就像先统计小偷最常用哪几种撬锁手法。第二,如果把套路清单讲给人工智能听,它判断真假的能力会不会提高,会不会因此连真话也不信?第三,同样的培训放在真人身上有没有用,尤其是面对自己完全陌生的说法时。作者还留了一个“反向”问题:这套知识如果落到造谣者手里,会不会让假话更有说服力?他们用一组对抗实验来检验,算是一边造盾一边试试矛。先看清楚假话长什么样,再谈怎么防。为了不让结果靠运气,真人实验还提前写好了分析和排除规则,相当于先立字据再考试。问题清楚了,接下来要看他们怎么把套路变成可检验的考试。
③ 研究方法(怎么做的?)
研究分三步,像先编词典再做考试。第一步,研究者从一家专门收集事实核查的数据库里,取出五十一种语言、二十一万四千六百四十六条被专业机构核查过的说法,时间从二〇一九年一月到二〇二四年四月。第二步,他们让人工智能先逐条标出“这句话用了什么招”,再和两位研究者一起,把两万八千多种零散标签归纳成四十八种策略,最后归成十三类,比如借权威、打感情牌、制造稀缺、编造信息。这就像把街头上千种骗术,归成十几张常见牌。第三步是考试:一边让模拟美国成年人的大模型读不同版本的培训材料,再给两千多条真假说法打分;另一边请七百四十九名美国成年人做同样的题。培训分五档,从什么都不讲,到只讲套路,再到“讲套路并提醒套路不等于假话”,这样才能分清究竟是哪一部分起了作用。
④ 结果(发现了什么?)
结果最有意思的地方,是“知道得越少,帮助越大”。机器这边,不培训时它给真话的打分只比假话高零点七七分;完整培训后差距拉到二点零六分,等于多了一点二九分。更关键的是,真话的平均可信度从四点零三分升到四点六九分,假话从三点二五分降到二点六三分,说明它不是靠“什么都怀疑”来得分。换一个模型家族,结论仍然成立。真人这边就谨慎得多:完整培训让真假判断差距平均多零点二三分,统计上不显著,意思是这点差别也可能是抽样波动;但在参与者自认陌生的说法上,差距多零点四二分,而且真话的可信度几乎没变。作者还做了对抗测试:套路知识确实能让生成的假话更能骗过机器,但给评估方同样的培训后,假话可信度反而被压下去。换句话说,真正被压低的是假话的可信度,而不是所有说法的可信度。
⑤ 讨论(这些发现说明什么?)
怎么理解这些结果?作者打了一个比方:如果你知道事情的来龙去脉,你可以直接判断这句话对不对;如果你完全没听过这件事,就只能看它“怎么说话”。套路清单补的正是这块空白,所以它在陌生说法上最灵。反过来,单纯提醒“要谨慎”没有给出新线索,效果就有限,这也解释了为什么光说“多想想”常常没用。另一个关键是那句“套路不等于假话”:如果不加这句,模型可能把所有会煽情的说法都判成假,连真话也一起压低。这有点像学认假钞:既要认得水印,也要知道有水印的不一定是真钞。作者还提醒,这套知识是双刃剑,整理得越清楚,造谣的人也可能用得越顺手,所以他们没有公开完整的标注数据和生成提示词。这也提醒我们,防谣不是让人什么都不信。
⑥ 结论(最终结论 + 启示)
总的来说,这项研究给出的不是“万能鉴别术”,而是一份来自真实世界的“假话套路地图”。它最大的价值在于:不用等某条消息被核查,就能用来判断新出现的说法;而且只要配上“套路不等于造假”的提醒,就不会把怀疑扩散到真话上。对普通人来说,看到特别会挑动情绪、特别爱借权威、特别像阴谋故事的说法,可以先停一下。对平台和事实核查机构来说,这类培训可以作为逐条核查的补充,但不能替代核查本身。作者也坦言,真人身上的平均效果还很小,实验里的假话又都是人工智能写的,能不能推广到人写的假话,还需要更多研究。这套思路也提醒内容平台,除了贴标签,还可以教方法。如果未来能把培训做短、做成小课程,普通人也许更容易用上;在此之前,最稳妥的做法仍是核查与套路教育并用。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
虚假信息的治理长期依赖两条路径:逐条事实核查,以及面向公众的预先提醒(prebunking)。核查准确但滞后,且只覆盖被查过的说法;预先提醒则多依赖研究者手选的少量说服技巧,样本往往局限于单一语言、少数议题和较短时间窗。既有接种研究的结果并不一致:游戏化接种在再分析中提高了怀疑,却没有改善真假分辨;针对情绪操纵的接种只有在与准确性提示结合时才见效。本文的切入点是“说服套路”而非“具体事实”:若虚假信息反复使用可识别的策略组合,那么从大规模、多语言、由专业核查机构标注的语料中经验性地测绘这套“套路手册”,再检验它能否迁移到未见过的说法,就同时具有描述与干预两重价值。与既有综述相比,本文把“教什么”从研究者手选改为语料驱动,并把机器、人类与攻击者三种角色放进同一套刺激材料。作者使用 ClaimReview 数据库 214,646 条、51 种语言、236 家机构的核查记录,归纳 48 种策略与 13 个策略组,并在预注册的人类实验、两个模型家族的 LLM 实验以及一项对抗测试中评估其效果。
I. Theoretical Framework & Hypotheses(理论框架与假设)
理论框架把说服机制分为三条互补通道。其一是 Cialdini 社会影响原则中的六项(权威、承诺与一致、喜好、稀缺、社会认同、统一),对应 21 个策略代码;其二是信息操纵通道,按“隐藏信息—操纵信息—编造信息”划分,对应 12 个代码;其三是情感通道,包括情感诉求、恐惧诉求、生动意象与阴谋论,对应 4 个代码。三者合计覆盖逾 99.9% 的核查 claim。由此提出两组描述性问题与三组预注册检验:套路在不同语言间是否共享核心结构;策略组合是否呈现稳定的符号网络;以及“完整简报”能否相对无简报与仅解耦提示提升分辨力,同时不压低对真实说法的信念。
| 编号 | 假设/问题 | 对应理论或设计 |
|---|---|---|
| RQ1 | 哪些策略最常见、如何共现 | 13 组框架 + 符号网络 |
| RQ2 | 核心结构是否跨语言共享 | 15 种语言分网络相关 |
| H1 | 完整简报提升真假分辨差 | 策略知识替代缺失事实 |
| H2a | 完整简报优于仅解耦提示 | 隔离策略知识的增量 |
| H2b | 解释中更多提及所教策略 | 策略词汇使用率 |
| H3a | 仅策略知识不压低真话信念 | 解耦原则的必要性 |
M. Materials & Methods(材料与方法)
语料为 ClaimReview 2019-01 至 2024-04 的 214,646 条记录(236 家机构、51 种语言;英语 31.6%、阿拉伯语 13.7%、西班牙语 10.6%)。策略标注采用扎根理论流程:GPT-4o 对每条 claim 以原语言零样本抽取至多 5 个策略并给出理由,产生约 28,000 个一阶代码、逾 922,000 次标注;两位研究者经轴向编码合并为 48 种策略(833,000 余次出现),再理论编码为 13 组。共现分析以最大熵零模型为基准,固定每条 claim 的策略数与各策略的边际 prevalence,保留 BH 校正 q<0.001 且 |log2 lift|≥0.3 的边,构建符号网络。渠道分析使用线性概率模型,控制 8 个 mega-topic、51 种语言与 64 个月份固定效应。
LLM 实验设 5 个条件(C0 无简报、C1 准确性提示、C2 策略知识、C3 策略知识+解耦提示、C0b 仅解耦),280 条 claim(240 条 AI 生成假 claim + 40 条真 claim),50 个模拟 persona,1–7 评分,按 persona 做配对 t 检验与 ROC-AUC。人类实验为预注册 5 组间设计,N=749,每人评 20 条(7 真 13 假),主要结果为真假评分差,采用 Holm 校正、TOST 与 Lee bounds。对抗测试为 5 种生成条件 × 20 个事件 × 20 条 = 2,000 条 claim,100 个 persona 计算同一 claim 相对无简报的 Δ。
R. Results(结果)
描述性结果:权威(65.2%)与情感诉求(64.7%)最常见,操纵信息 33.6%、恐惧诉求 30.0%、编造信息 12.4%、阴谋论 5.5%。15 种语言中,共现网络与合并网络的中位相关 r=0.83;阴谋论与恐惧诉求、编造信息的正关联全部成立。符号网络形成以阴谋论、恐惧诉求、编造信息、统一与承诺为核心的团块,71% 的三角形结构平衡(p=.019)。
| 条件 | 分辨差 [95% CI] | AUC |
|---|---|---|
| C0 无简报 | 0.77 [0.71,0.84] | 0.682 |
| C1 准确性提示 | 0.77 | 0.666 |
| C0b 仅解耦 | 1.00 | 0.686 |
| C2 策略知识 | 1.61 | 0.818 |
| C3 完整简报 | 2.06 [2.03,2.09] | 0.812 |
完整简报把差距提高 1.29(95% CI [1.23,1.34],p=3×10-44)。无事实基础 claim 上 0.28→1.66(+1.38),有一般知识 claim 上 1.27→2.46(+1.19);Gemini 2.5 Flash 复现 0.88→1.96。人类确认性检验不显著:C3−C0 +0.23(d=0.15,p=.193),C3−C0b +0.317(d=0.21,p=.069);AUC 对比 +0.042 与 +0.044 仅名义显著。熟悉度调节显著(F=5.13,p=.0004):陌生 claim +0.42,熟悉 claim +0.04。真话信念五组 5.08–5.09,假话信念 C3 最低(2.80 对 3.03)。对抗测试:生成侧知识把可信度从 2.68 升至 2.94,完整简报使其下降 0.60(−21.2%),抹去 +0.26 增益。
a / D. Discussion & Conclusion(讨论与结论)
作者的解释是“策略线索替代缺失事实”:知道事实者可直判内容,不知道者只能依赖表达方式;因此增益集中于模型自报无事实基础与人类自评陌生的 claim。解耦提示用于阻止把“有套路”直接等同于“假”,Gemini 2.5 Flash 在仅给策略知识时真话信念从 5.26 降至 4.82、假话不变,正说明这句提醒不可省。贡献在于把 prebunking 从研究者手选技巧推进到经验测绘的多语言策略组合,并在同一刺激集上比较机器与人类,再以对抗测试检验双用途风险。
- 局限:人类平均效应不显著且很小,两项确认性检验均未通过;所有假 claim 均由 AI 生成,能否外推到人写的虚假信息未知。
- 熟悉度为简报后自报,可能受处理影响;策略组流失更高(85% 对 92%),Lee bounds 虽不改变符号但区间很宽。
- 未识别单一策略的因果效应,也未检验效果持续时间;真人增益主要来自假话评分下降,而非真话评分上升。
- 启示:应把套路教学与“套路不等于造假”的解耦原则捆绑,作为事实核查的补充而非替代,并在更大样本、更长随访中验证。
🧠 IRMaD 思维导图
mindmap
root((虚假信息说服套路手册))
I 引言
核查总慢半拍
人工智能批量造谣
怀疑会误伤真话
套路比事实更稳定
R 问题
套路能否迁移
能否不伤真话
造谣者会不会反用
跨语言是否共通
M 方法
二十一万四千条核查
五十一种语言
四十八种策略
十三类框架
两个模型家族
七百四十九名参与者
R 结果
机器差距多一点二九分
真人平均多零点二三分
陌生说法多零点四二分
真话评分几乎不变
对抗测试反压零点六分
a 讨论
套路替代缺失事实
解耦提醒不可少
双刃剑风险
真人效应偏小
D 结论
可补事实核查
先教套路再解耦
等待更大规模验证
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。