🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
刷短视频时,你可能见过这样的评论区:一条讲气候变化的视频下面,人们吵成一团。
有人说“我们这儿今年冬天特别反常”,有人骂政客什么都不做,也有人直接说气候变化根本是骗局。
过去,研究者想让电脑自动认出哪条评论在传谣,通常只做一件事:把每条评论单独拿出来,看它用了哪些词、表达了什么意思,然后打上标签。
这办法有道理,可它漏掉了一样东西。同一群人往往会反复使用同一套说法。
比如用自己在哪个州、今年天气多怪来开头的,是一套;喊着“都怪政府”“记得投票”的,是另一套;说“这是骗局”“他们在操控天气”的,又是第三套。
这些反复出现的说话套路,本身可能就带着信息:它透露了说话人站在什么位置、想干什么。而且,这些套路还会影响别人信不信、愿不愿意接着聊,所以搞清楚它,不只是技术问题,也关系到怎么劝人。
这篇论文想做的,就是把这些套路抓出来,变成电脑能算的东西,再看看它到底有没有用。
② 研究问题(要回答什么?)
这篇论文要回答三个层层递进的问题,从怎么分套路一直问到套路与传播的关系。
第一,能不能用数据自动分出“说话套路”?如果让电脑把十一万多条评论按意思归类,会不会自然浮出几种稳定的类型,而且这些类型人能看懂、能起名字?作者还要检验:换一批随机起点重新分,结果是不是还差不多。
第二,知道套路之后,能不能更准地认出谣言?比如同样一句“气候是骗局”,出自阴谋论套路和出自随口玩梗,含义可能不一样。把套路信息加进分类器,能不能比只看文字更准?为了排除“只是模型变复杂了”这种解释,他们还会把套路标签故意打乱再试一次。
第三,套路和谣言的传播有什么关系?不同套路的人是不是更容易相信谣言?在一个以某种套路为主的视频下面,谣言越多,讨论是热得更久,还是很快冷掉?
这三个问题分别对应“造工具、验工具、用工具”三步,缺一环整条链子都立不住。
③ 研究方法(怎么做的?)
研究者用的是一个公开的短视频气候讨论数据集,名叫 ClimateDisc。
它包含短视频平台上 7,110 个带气候变化标签的英文视频,以及它们下面的 116,256 条评论,时间从 2024 年 1 月到 11 月。
第一步,造套路。他们先用一个句向量模型把每条评论变成一串数字,相当于给每句话拍一张“语义指纹”,再用聚类算法把这些指纹分成 21 堆。堆数不是随便定的:他们试了 3 到 30 堆,看哪一堆数让堆内最紧凑、堆间最分开,最后选 21。
第二步,合并。21 堆太细,他们请大语言模型按“说话姿态”把这 21 堆合并成 6 种话语剖面,比如本地体验派、政治对战派、阴谋反气候派,另有一个噪声组(多是表情、@某人、一句“对”)被排除。六个大类的人数比较均衡,最少的一类也有三千九百多条评论,最多的一类约一万九千条,不会出现某一类独占全场的情况。
第三步,做分类器。给每条评论配上套路标签,再把套路变成一个可学习的向量,和文字特征拼在一起送进分类器,这叫晚期融合,好比先分别看文字和看身份,最后投票时合起来。
为了防止背答案,训练集、验证集、测试集按视频切开(2,717 / 344 / 347 个视频),同一个视频的评论只出现在一边;每种模型都换 3 个随机种子重跑。
④ 结果(发现了什么?)
结果可以从三块来看,每一块都给出了具体数字。
第一块:分类更准了。在只看词袋(把评论当成一袋词)的模型上,兼顾各类别的平均分从 0.586 升到 0.616,提高 0.030;用词频加权的词频模型提升最大,从 0.522 到 0.601,提高 0.080;用句向量的模型从 0.726 到 0.739,提高 0.014。这三种在 3 个种子上都显著(p 分别为 0.028、0.006、0.015)。
但换成很强的 RoBERTa-large 模型,分数只从 0.794 到 0.810,提高 0.015,3 个种子之间忽高忽低,统计上不显著(p=0.381)。
第二块:不是模型变复杂带来的。研究者把套路标签随机打乱再训练,词袋和词频模型的正确套路仍分别高出 0.034 和 0.041,说明起作用的是配对的套路对不对。
第三块:套路和轻信有关。让大语言模型扮演不同套路的人去判断 350 条谣言,其轻信比例与真人在各套路下的谣言比例高度一致(相关系数分别为 0.82 和 0.94)。其中阴谋反气候套路轻信率高达 96.3%,政治对战套路只有 4.9%。
此外,他们还看了 2,925 个视频的讨论热度:在亲科学套路下,谣言越多的视频,讨论冷得越快(从 69.5 小时降到 16.1 小时);在阴谋套路下则相反,谣言越多反而讨论得越久。经多重比较校正后,系统批判、本地体验、阴谋这三种套路的热度差异仍然显著,另外三种则不显著。
⑤ 讨论(这些发现说明什么?)
这些结果可以从四个方面来理解,而且每一层都指向同一件事。
首先,套路之所以有用,是因为它提供了文字之外的线索。一句“随便吧,反正完了”单看很模糊,但如果你知道它属于末日绝望套路,就更容易判断它可能在附和某种消极的谣言框架。
其次,为什么强模型反而不显著?作者的解释是:RoBERTa-large 这类模型本身已经很强,能从上下文里学到不少言外之意,套路能补的空间就小了;再加上 3 个种子波动大,平均提升虽然为正,却不足以证明稳定有效。
第三,打乱标签的对照很关键。它说明提升不是多给了一个输入、模型变复杂这么简单,而是这条评论配这个套路这件事本身有信息。
第四,让大模型扮演不同套路的人,是一种受控探针,不是真的模拟用户。作者也提醒:分类标签是从另一批策展语句迁移过来的,人和机器的判断一致性只是中等(κ 约 0.55 到 0.57),所以单条评论的标签会有噪声。
最后,热度结果说明谣言和传播的关系不是一条统一的曲线。在亲科学语境里,谣言多可能招来纠正,讨论很快收口;在阴谋语境里,谣言反而像燃料。这提醒我们,讨论谣言传得久不久时,必须先问是在谁的场子里传。
⑥ 结论(最终结论 + 启示)
这篇论文想说的其实是一句朴素的话:在网上,人们怎么说话和说了什么一样重要。
它把气候讨论里反复出现的说话方式,整理成六种可计算的话语剖面,并证明这些剖面能帮轻量分类器更准地识别谣言,还能解释不同人群对谣言的易感程度,以及谣言密度与讨论热度之间的关系。
当然,它不是万能钥匙:剖面是从一个平台的语料里长出来的,换平台未必成立;标签也有噪声;传播分析只能看到相关,不能证明因果。
对普通人的启示是:下次刷到气候争论,不妨先看看对方在用什么套路说话,是摆亲身经历,还是喊口号,还是讲阴谋。看清套路,往往比逐字反驳更有用。
对研究者和平台来说,这意味着做内容审核或科普时,不能只盯着关键词,还要看整段对话的修辞气氛。这也是这篇论文最想留下的方法论提醒。它告诉我们,理解网络争论,除了听内容,也要看姿态。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
气候虚假信息研究长期以单条文本为单位:给定一句评论或一个主张,用词袋、TF-IDF、预训练编码器或微调语言模型预测其是否属于某一类否认或阻碍叙事(Coan et al., 2021; Upadhyaya et al., 2023; Rojas et al., 2024)。这一范式在策展数据集上表现稳定,却默认意义只存在于当前文本之中。
短视频平台上的气候讨论有两个被忽略的性质。其一,虚假信息很少以孤立主张出现,而是嵌入反复复现的修辞套路:地方性天气叙事、党派动员、系统性批判、科学主义反驳、末日论、阴谋论(Bloomfield & Tillery, 2018; Lamb et al., 2020)。其二,作者身份与社会语境研究(Nguyen et al., 2020; Mehta et al., 2022)表明文本外信号可提升立场与虚假信息检测,但既有工作多依赖预定义人口属性或静态用户嵌入,难以刻画同一人在不同语境下换一套说法的现象。
本文提出话语剖面(discourse profile):从大规模在野评论中数据驱动地归纳出的、可解释的修辞姿态类型,在评论层而非用户层赋值。与用户级人格建模不同,剖面允许同一个人在一条视频下讲自家天气、在另一条下喊政治口号。贡献有三:(1)给出从语义聚类到 LLM 归并的剖面构造流程;(2)建立剖面感知的分类与评估框架,以配对文本基线、打乱剖面、风格改写三重对照隔离剖面信号;(3)把同一抽象扩展到受控的 LLM 易感性探针与视频级传播动力学分析。
I. Theoretical Framework & Hypotheses(理论框架与假设)
本文不提出方向性假设,而把话语剖面概念化为传播层(communication-level)变量:它既非文本的词法特征,也非用户的稳定属性,而是说话者在公共讨论中采取的修辞位置。这一区分有三重含义。第一,剖面是关系性的,由对气候议题的 communicative stance 定义(例如以本地经验为证据,对以阴谋框架拒绝机构叙事),因而天然携带可信度判断与群体归属的线索。第二,剖面是情境性的,同一用户可在不同视频下切换剖面,故不可读作人口学或心理特质。第三,剖面是可聚合的,视频层可取多数剖面作为主导话语语境,从而把个体修辞与宏观传播结果连接起来。
| 编号 | 研究问题 | 理论定位与操作化 |
|---|---|---|
| RQ1 | 能否从在野评论中稳定归纳出可解释的话语剖面 | 修辞复现性;MPNet 嵌入 + k-means + LLM 归并,以 ARI/NMI/重分配一致性检验 |
| RQ2 | 剖面信息能否在文本之外提升细粒度虚假信息分类 | 补充性信号假说;晚期融合 + 配对 t 检验 + 打乱剖面对照 |
| RQ3 | 剖面是否对应系统的谣言易感性差异 | 传播层易感性;剖面条件化 LLM 探针与真人剖面谣言率的相关 |
| RQ4 | 谣言密度与互动持续性的关系是否随主导剖面而异 | 话语语境调节;视频层 Kruskal–Wallis + BH-FDR |
四个问题共享同一抽象:若剖面只是聚类副产物,RQ2 的打乱对照与 RQ3 的置换检验应同时失效;反之则说明剖面承载了文本之外的结构信息。
M. Materials & Methods(材料与方法)
- 数据。ClimateDisc(Gao et al., 2025):TikTok 上带 #climatechange 的英文视频口播转写 7,110 条、评论 116,256 条,采集期 2024 年 1 月至 11 月。细粒度标签源自 QuotaClimat 的 6,091 条策展陈述(not_relevant 加 7 类否认/阻碍叙事),用 RoBERTa-large 微调后迁移到评论(源域测试准确率 0.75)。迁移校验:208 对高相似 claim–comment 一致率 79%、κ=0.72;200 条未匹配评论与独立 LLM 标注一致率 89%、κ=0.54;100 条人工双标 κ=0.76,分类器与人 κ=0.57/0.55。
- 剖面构造。以 MPNet 句向量表示评论,k-means 聚类,在 k∈[3,30] 上联合考察 WCSS 与 Silhouette,取轮廓系数局部极大 k=21;再由 GPT-5 按共享修辞模式将 21 簇归并为 6 个话语剖面(本地体验、政治对战、系统批判、亲科学、末日绝望、阴谋反气候)加一个 Noise/Low-Signal 残差组(剖面敏感分析中剔除)。稳定性:10 次初始化平均 ARI=0.741、NMI=0.815;归并后赋值一致率 82.8%;两个独立 LLM 评审对 21 簇重分配彼此 κ=0.88,与原归并 κ=0.71/0.64。
- 分类器。文本表示三类:词袋、TF-IDF、冻结 MPNet 句向量,配轻量 MLP;另设 RoBERTa-large 高容量编码器。纯文本基线
ŷ = g(f_x(x));剖面感知模型将剖面 c 映射为嵌入d=E(c),投影后拼接h=[h_x;h_d],经联合非线性层z=f_j(h)再分类,即晚期融合,文本编码器保持不变。 - 评估。固定视频不交叉划分(0.8/0.1/0.1,对应 2,717/344/347 个视频),同一视频评论只入一个分区;每模型跑 3 个训练种子,报告均值,用双侧配对 t 检验比较 macro-F1。为排除容量效应,每个种子再训 10 个打乱剖面模型,以单样本 t 检验比较正确剖面与打乱分布。另用 Llama-3.1-8B-Instruct 生成三轮风格改写做稳健性检验。
- 下游分析。易感性探针从 7 类各抽 50 条共 350 条 QuotaClimat 主张,令 GPT-5 依据剖面卡片输出 agree/uncertain/reject,定义
L_d为未拒绝比例,与真人剖面谣言率H_d求相关,并做 100 次卡片置换。传播分析取 2,925 个视频(剔除评论数≤1),持续性P_v=T_v(0.6)−t_v^(0)即累计到 60% 评论所需小时数;按谣言率分低/中/高三组,组内 Kruskal–Wallis,六检验做 BH-FDR。
R. Results(结果)
- 主效应。视频不交叉、3 种子平均下,正确剖面在三种轻量表示上均显著提升 macro-F1:词袋 0.586→0.616(Δ=+0.030,p=0.028);TF-IDF 0.522→0.601(Δ=+0.080,p=0.006,增幅最大);MPNet 0.726→0.739(Δ=+0.014,p=0.015)。RoBERTa-large 均值 0.794→0.810(Δ=+0.015),但种子间波动大,不显著(p=0.381),只能读作正向但不确定的平均差异。
| 表示/模型 | macro-F1(文本→剖面) | Δ | 配对 p | 是否显著 |
|---|---|---|---|---|
| Bag-of-Words | 0.586 → 0.616 | +0.030 | 0.028 | 显著 |
| TF-IDF | 0.522 → 0.601 | +0.080 | 0.006 | 显著,增益最大 |
| MPNet(冻结) | 0.726 → 0.739 | +0.014 | 0.015 | 显著但幅度小 |
| RoBERTa-large | 0.794 → 0.810 | +0.015 | 0.381 | 不显著 |
- 准确率同向。词袋 0.690→0.709、TF-IDF 0.675→0.709、MPNet 0.799→0.808、RoBERTa-large 0.845→0.856,方向一致但幅度普遍小于 macro-F1,说明增益主要来自少数难类别的召回改善,而非整体重排。
- 打乱对照。正确减打乱:词袋 +0.034(3/3 种子显著)、TF-IDF +0.041(3/3)、MPNet +0.003(1/3)、RoBERTa-large +0.033(1/3)。稀疏词法表示上配对正确性的贡献最清晰;稠密表示的主效应有相当部分不能唯一归因于剖面语义正确性。
- 类别层面。增益非集中于单一标签:TF-IDF 在 Science is Unreliable +23.4、Not Bad +11.6、Fossil Fuels Needed +8.6;词袋对应 +6.8/+5.7;RoBERTa 七类中六类为正,最大为 Science is Unreliable +5.4。
- 易感性。真人剖面谣言率
H_d与 LLM 探针L_d的 Pearson r=0.82、Spearman ρ=0.94;100 次卡片置换均值为 ρ=−0.10,真实映射在置换检验下 p=0.03。分剖面:Conspiratorial 96.3%、Local 29.4%、Doomism 22.0%、Pro-Science 10.4%、Systemic 8.0%、Political 4.9%。 - 传播持续性。2,925 个视频。Pro Science 由低谣言组 69.5 小时降至高谣言组 16.1 小时;Doomism 43.1→20.3;Local 30.5(低)→37.3(中)→16.8(高);Conspiracy 反向,高谣言组更持久;Systemic 组间变化小。BH-FDR 后 Systemic(H=20.501,p_adj=0.003)、Local(16.336,0.003)、Conspiracy(9.237,0.020)显著;Pro Science 由 p=0.047 变为 p_adj=0.071,Political(0.175)与 Doomism(0.233)不显著。
- 综合解读。剖面信号在稀疏词法空间中更像把同类评论聚成可分的块,因而增益大;在稠密语义空间中它与上下文表示高度重叠,增益被吸收,这与 RoBERTa-large 的不显著结果相互印证。
- 风格改写。第三轮改写上纯文本 RoBERTa 准确率 0.527、macro-F1 0.385;剖面感知版 0.638、0.534,分别 +0.110 与 +0.149。
a / D. Discussion & Conclusion(讨论与结论)
- 理论贡献。本文把话语剖面确立为传播层变量:它位于词法文本与用户属性之间,刻画以何种修辞位置参与公共讨论。这一层次解释了两件文本中心范式难以解释的事:同一主张在不同修辞语境中可信度不同(RQ2 的打乱对照),以及虚假信息密度与互动持续性之间的关系随话语语境而变号(RQ4)。因此剖面不是又一个上下文特征,而是把微观评论与宏观传播结果接起来的分析单位。
- 方法启示。剖面感知的收益在轻量表示上最大、在强编码器上不显著,提示上下文信号的价值取决于模型既有容量;打乱剖面对照应成为此类工作的标准配置,否则加特征即提升无法与容量效应区分。
- 实践启示。平台与事实核查方可按主导剖面分配干预:阴谋反气候语境下谣言密度高且讨论更持久,适合前置提示与来源标注;亲科学语境下谣言越多讨论反而越快冷却,提示纠正信息可能已在该语境中生效。但剖面是评论层抽象,不得用于对个体用户画像或定向。
- 局限。(1)剖面分类体系非唯一:嵌入模型、聚类算法、k 选择、归并提示任一改变都可能得到不同分组,LLM 重分配只是补充性复核,不能替代人工信度。(2)标签为跨域迁移,分类器与人 κ 仅 0.55–0.57,单条标签有噪声,结论应读作剖面层聚合关联。(3)仅一个平台、一个时间窗,跨平台不变性未验证。(4)LLM 探针是受控探针而非行为模拟,绝对易感率不可当作真人脆弱性估计。(5)持续性分析为横断面,无法区分谣言密度导致持续与持续视频累积更多谣言。
- 资助与数据。原文未列出资助信息;数据来自公开的 ClimateDisc 与 QuotaClimat,示例评论已脱敏。
🧠 IRMaD 思维导图
mindmap
root((气候谣言话语剖面))
I 引言
单条评论分类
套路反复出现
文本之外信号
三处用途
R 问题
RQ1 能否分套路
RQ2 分类有无增益
RQ3 谁更易轻信
RQ4 热度是否不同
M 方法
七千一百个视频
十一万六千条评论
聚类二十一簇
合并六类剖面
晚期融合分类
视频不交叉评估
R 结果
词频提升八点
词袋提升三点
句向量提升一点四
大模型不显著
阴谋类轻信九十六
a 讨论
剖面是传播层变量
打乱标签仍有效
轻信排序高度一致
三类热度显著
D 结论
补足单条文本
干预可按语境
平台单一待验证
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。