🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
社交媒体上的讨论从来不是一条直线。一条原帖底下会长出一棵回复树,每个人都在回应前面的某句话,情绪就在这棵树上一路传下去。
观察一个熟悉的场景:突发事件发生后,有人发了一条未经证实的说法,底下很快分岔——有人补充证据,有人出来辟谣,有人开始人身攻击,也有人只是疑惑地追问。几十条之后,整个讨论区可能已经气氛紧张,也可能重新平静下来。
问题是,到底是哪一句话把气氛带到了这一步?
过去的研究大多在问另外的问题:这条消息是真是假?这个人是支持还是反对?这些问题固然重要,但它们都是给单条帖子贴标签,没有回答情绪为什么会变。
而这件事在传播学上很要紧。已有研究发现虚假信息在网上的扩散方式与真实信息不同,也发现看到别人表达的情绪会改变自己表达的情绪。如果我们想知道辟谣到底有没有用、攻击性言论到底有多大破坏力,就必须能追踪情绪在对话树上的因果链条。
② 研究问题(要回答什么?)
作者把问题拆成三个依次深入的追问。
第一问:这条回复表达的是什么情绪?分为负面、中性、正面三类。这是最基础的一层。
第二问:相对于它回复的那条,情绪是升了、降了,还是没变?这一层关注的是变化本身,而不是状态。
第三问,也是本文真正的靶心:在这条回复之前的所有消息里,哪一条最可能是把它的情绪推成现在这样的?
作者更进一步,把这个问题变成了一个可以做实验的问题:如果把前面那条辟谣抹掉,后面的负面情绪会多出多少?如果把那句攻击去掉,气氛会缓和多少?这在因果推断里叫反事实——现实中没发生的另一种可能。
③ 研究方法(怎么做的?)
作者先给公开的谣言对话数据集加了一层新的标注,取名 CaSiRe,补上了四样东西:每条帖子的情感标签、父子之间的情绪升降标签、每条帖子做了哪种话语动作的标签,以及最关键的——这条回复的情绪是被上游哪一条引发的。
话语动作一共分八种:抛出主张、辟谣或纠正、提供证据链接、引用权威、攻击谩骂、讽刺反语、提问质疑、跑题带偏。一条帖子可以同时属于好几种。这些标签先由一个开源大模型打出来并给出置信度,再做校准,置信度太低的直接标为不确定并排除,避免把噪声喂进模型。
然后作者搭了一个叫 C 三 T 的模型。可以把它想成三件事的组合:它同时看懂文字、看懂树的结构、也看懂时间间隔;它不只看直接的父节点,还会在最近的若干个祖先里做注意力挑选;最后它把每条帖子的话语动作编码成一个可以被人为打开或关掉的开关。
这个开关就是全文的精髓。训练时模型被要求做到:同一条帖子,把辟谣这个开关拨到开和拨到关,预测出来的下游情绪必须真的不一样。这样一来,模型就不是在记忆相关关系,而是学会了对干预作出反应。
评测采用了一种很严格的划分方式:训练用的是三起事件的 980 个对话,验证用另一起事件的 175 个,测试则用完全没见过的第四起事件的 205 个。这意味着模型不能靠记住某个事件的人名地名和话题标签蒙混过关。
④ 结果(发现了什么?)
在完全没见过的新事件上,这个模型在三项任务上都超过了所有对照方法。
| 模型 | 情感识别 | 情绪升降 | 找出源头(首选命中) |
|---|---|---|---|
| 只看文字的模型 | 49.5 | 39.1 | 不适用 |
| 图结构模型 Bi-GCN | 51.2 | 44.3 | 19.8 |
| 时序图模型 | 54.1 | 47.2 | 21.5 |
| 图对比模型 GACL | 55.9 | 48.6 | 22.4 |
| 本文模型 | 60.4 | 54.8 | 36.2 |
差距最大的地方是找出情绪源头这一项:从 22.4 提到 36.2,提升幅度超过六成。作者还测了几个开源大模型直接提示的效果,发现给它们更多上下文确实有帮助,但在追溯源头这件事上仍然很不可靠——最好的也只有 25.8。
更值得关注的是第二组结果:八种话语动作对下游负面情绪的影响被量化了出来。
让下游负面情绪
下降 0.142
下降 0.118
让下游负面情绪
上升 0.235
把八种动作排成一列看,结论相当清晰:辟谣、举证、引用权威三种建设性动作都显著降低下游的负面情绪(分别为 -0.142、-0.118、-0.096,置信区间都不跨零);攻击谩骂的破坏力最大,是所有正向效应中最强的一个,且远超其他;讽刺(+0.064)和跑题(+0.048)也显著推高负面情绪。
有意思的是提问质疑(-0.015)和抛出主张(+0.032)的置信区间都跨过了零,也就是说效果不确定——作者解释说,同样是提问,有时是让人冷静下来的减速带,有时却是挑衅的开场白。
⑤ 讨论(这些发现说明什么?)
拆解实验揭示了模型的哪个零件最关键,结论有点出人意料。
去掉反事实训练目标后,找源头的准确率从 36.2 掉到 32.4;去掉事件不变性约束后掉到 34.1。但影响最大的是去掉话语动作标签——直接掉到 25.1,情感识别也从 60.4 掉到 55.7。这说明让模型知道每条帖子在做什么事,比任何精巧的损失函数设计都更有用。
还有一项拆解特别能说明问题:如果只允许模型在直接父节点里找源头,找源头的成绩崩到 21.5。换句话说,让一条回复情绪变差的,往往不是它直接回复的那条,而是更早的某句话。这正是只看父子关系的传统做法会漏掉的东西。
两个案例把这件事讲得更具体。在一个对话里,模型认定一条早期的辟谣是后面那条中性回复的源头;把辟谣标签抹掉后,该回复的预测负面情绪上升 0.18。在另一个对话里,一条攻击性帖子拿走了多条负面回复的大部分归因;抹掉攻击标签后,预测负面情绪下降 0.22。
不过作者对结论的边界非常克制:这些都是观察数据上的模型估计,不是随机实验的结果,必须在“已控制可观测语境”的前提下理解。分析范围也只覆盖对话树内部两跳之内的短程传播,不包括跨对话的溢出、旁观者阅读,或更长距离的扩散。
⑥ 结论(最终结论 + 启示)
这项工作的价值可以分成方法和实质两面。
方法上,它给计算传播学提供了一条把话语动作当作干预来处理的路径:先给对话树补上因果标注,再用一个能开关干预的模型去估计下游效应。这比单纯预测情感标签更接近研究者真正想问的问题。
实质上,它给了一个在平台治理层面很有用的判断:早期的澄清是有效的,攻击性言论的破坏力则显著高于其他任何一种话语动作。这为“该优先干预什么”提供了可比较的量化依据——如果只能管一件事,管攻击性言论的收益最大。
作者也指出了大模型直接提示的局限:给它更多上下文能提升情感判断,但在长而分叉的对话树里追溯因果源头,提示工程仍然不够可靠,这正是需要结构感知的反事实建模的原因。
需要保留的判断是:所有效应都建立在一组因果推断假设之上——时间先后、一致性、正值性、有限干扰与条件可忽略性。其中最脆弱的是最后一条,因为社交媒体上谁选择发言、发什么,本身就不是随机的。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
在线社交对话具有互动性:用户彼此回应并回应展开中的事件,线程在情感与立场上可能收敛也可能极化。这些动态之所以重要,是因为虚假信息在 Twitter/X 上的扩散方式不同于准确信息(Vosoughi et al., 2018),且暴露于他人的情绪表达会改变个体自身的表达(Kramer et al., 2014)。因此关键问题不仅是表达了什么情感,而是情感为何在回复线程内发生转变——负面性究竟由一个新主张、一次纠正,还是一场敌意交锋所驱动。
对话树提供了天然的分析基底:源帖诱发分叉级联,局部的父子互动可以全局传播。谣言与主张中心的基准数据集(PHEME, Zubiaga et al. 2016a;RumourEval, Gorrell et al. 2019)已捕捉了突发新闻语境下的此类树结构,但既有研究主要聚焦立场与真伪(检测、立场分类、核查)。相较之下,情感轨迹——情感如何随时间变化、哪些对话输入可能驱动了这一变化——仍然建模不足。
归因情感变化本质上是因果问题,但观察性社交媒体数据存在内生参与与潜在混淆。近期工作已开始形式化在线互动中的因果问题(Sridhar & Getoor, 2019; Zhang et al., 2020),然而多数表述作用于粗粒度的对话属性,而非演化回复树内特定话语动作的效应。本文三项贡献:(1)把对话树中的因果情感推理表述为一个建立在公开谣言数据集之上的对话干预问题;(2)提出带显式强制干预反事实估计的线程结构化时序模型;(3)与纯文本、图结构、时序及开源大模型提示基线对比,并给出隔离反事实损失、干预标签、事件级不变性与祖先窗口归因的消融。
I. Theoretical Framework & Hypotheses(理论框架与假设)
形式化建立在 Rubin (1974) 与 Rosenbaum & Rubin (1983) 的潜在结果框架之上,并被移植到时间戳化的有根对话树 G = (V, E) 上。
| 要素 | 形式化 | 说明 |
|---|---|---|
| 结构 | (p → i) ∈ E 表示 i 回复其父节点 p = π(i);节点带时间戳 τᵢ 与协变量 Xᵢ | 协变量含文本、作者 / 平台元数据、深度与位置特征、上下文摘要 |
| 结果一 | Yᵢ ∈ {负面, 中性, 正面} | 节点级三分类情感 |
| 结果二 | S_{p→i} ∈ {-1, 0, +1} | 由父子情感标签按“负面 < 中性 < 正面”的自然序诱导而得,非独立标注 |
| 处理 | Tᵢ ∈ {0,1}^M,多热编码 | 八类话语动作:主张断言、辟谣纠正、提供证据链接、引用权威、攻击谩骂、讽刺反语、提问质疑、跑题带偏;一条帖可同时携带多种 |
| 估计量 | ATE_m(k) = E[ Ȳ^neg_i(k)(T_i^{(m=1)}) − Ȳ^neg_i(k)(T_i^{(m=0)}) ] | 其中 Ȳ^neg_i(k) 为 i 的 k 跳后代中负面帖占比,D_k(i) = ∅ 时约定为 0 |
识别假设(作者明确限定范围):(i)时间先后——i 处的干预先于其后代的结果,由时间戳与回复边保证;(ii)一致性——观察结果等于实际分配下的潜在结果;(iii)正值性——在所用协变量层内,干预 m 发生与不发生的概率均非零;(iv)有限干扰——效应主要建模在 k 跳后代内,跨线程溢出被列为局限;(v)条件可忽略性(范围受限)——在给定线程语境(文本、位置、时间、历史摘要)条件下,m 在 i 处的分配视为准随机,作者强调只看跨事件 / 跨平台稳定的模式。
M. Materials & Methods(材料与方法)
- CaSiRe 标注层:在公开谣言对话数据集之上叠加因果情感推理层,新增四类标注——帖级情感标签、诱导得到的父子转变标签、经校准的多标签干预标记、以及显式标注的因果来源标签
Cᵢ(即该回复的情感由哪个祖先引发)。 - 干预标注模块:主方案为 LLM 辅助标注,以
Llama 3-8B输出各类型的置信分s̃_{i,m} ∈ [0,1]。因 LLM 置信度普遍校准不良,在验证子集上做后验缩放校准(温度缩放或 Platt 缩放),得s_{i,m}后按类型特定阈值τ_m二值化,阈值以验证集 F1 / 覆盖率折衷选取。另设弃权机制:若max_m s_{i,m} < α,则Tᵢ标为未知并排除出反事实损失(选择性预测原则)。消融方案为在小规模人工标注子集上训练的轻量多标签分类器,用以隔离 LLM 弱监督的贡献。 - 对话编码器(结构 + 时间):文本编码
eᵢ = Enc(xᵢ),加深度嵌入pᵢ与连续时间编码tᵢ = φ(Δτᵢ)(Δτᵢ = τᵢ − τ_{π(i)},根节点取 0),干预嵌入uᵢ = Σ_m T_{i,m} r_m;初始化h⁰ᵢ = MLP([eᵢ; pᵢ; tᵢ; aᵢ; uᵢ])。关键设计:不把父节点的真实或预测情感标签作为输入特征,父信息只经由父节点表示与回复树结构进入,确保训练与推断时可观测信息一致。 - 树-时序更新:父消息
m^par_i = W_p h^ℓ_{π(i)};祖先注意力在最近 D 个祖先A_D(i)上做缩放点积 softmax 得m^anc_i;以h^{ℓ+1}_i = GRU(h^ℓ_i, [m^par_i; m^anc_i])更新,共L ∈ {2,3}层。 - 反事实两流分解:令
bᵢ为不含Tᵢ时由[eᵢ; pᵢ; tᵢ; aᵢ]得到的结构与文本表示,则z_i^{(m=v)} = bᵢ + W_u u_i^{(m=v)},其中u_i^{(m=v)} = uᵢ + (v − T_{i,m}) r_m。该设计把干扰变异与处理敏感因子分离(承 Johansson et al. 2016;Shalit et al. 2017),使反事实预测只需替换干预嵌入,额外算力对 M 线性且常数很小。 - 损失函数:
L = L_sent + λ_shift·L_shift + λ_att·L_att + λ_cf·L_cf + λ_spar·L_spar + λ_irm·L_irm。其中反事实项以δ_{i,m} = ‖ŷᵢ(T^{(m=1)}) − ŷᵢ(T^{(m=0)})‖²定义逐节点罚ℓ^cf = T_{i,m}·max(0, γ − δ) + (1 − T_{i,m})·β·δ——即对已观察到的干预要求非平凡敏感性,对未出现的干预抑制过度敏感。 - 稀疏归因:归因头以双线性打分
e_{i,a} = (W_c zᵢ)ᵀ(W_a z_a)后归一化(softmax 或 sparsemax),并加熵罚L_spar = Σ H(αᵢ),以避免“一切导致一切”的弥散归因。 - 事件级不变性:将每个事件视为一个环境,施加 IRM 式梯度罚
L_irm = Σ_e ‖∇_w L^{(e)}_pred(w·Φ_θ)|_{w=1}‖²,以削弱对事件特定表层线索(人名、地名、话题标签)的依赖。作者明确说明:该罚项仅用于预测不变性,本身并不识别因果干预效应。 - 数据与划分:PHEME / RumourEval 对话树基准。事件级 OOD 划分——训练
980个线程(charliehebdo、ferguson、germanwings-crash),验证175个(ottawashooting),测试205个(sydneysiege);无任何树跨分区共享,保留可完整重建的回复结构。归因窗口D = 16,干预分析取k = 2跳后代。 - 训练细节:文本骨干
DeBERTa-base;dropout 0.1;AdamW优化;以验证集情感 macro-F1 早停(patience = 3);结果取 3 个随机种子。基线共享同一预处理、事件级划分与评价指标。 - 基线:(a)纯文本 Transformer(RoBERTa / DeBERTa 编码器);(b)图模型
Bi-GCN、GACL(把原真伪头替换为情感与转变头);(c)时序图TGAT / TGN;(d)开源 LLM 提示基线Llama 3 / Gemma 2 / Qwen2.5 / Mistral,采用固定模板、固定示例、固定选项顺序、确定性解码与统一输出模式,评测三种上下文设定(仅节点 / 节点+父 / 节点+祖先摘要);归因时给出编号候选祖先列表,无效、越界或不可解析的输出一律记为弃权并计为错误。 - 指标:情感与转变用 macro-F1;因果来源归因用 Top-1 准确率与 MRR;因果效应报告
ATE_m(k)及线程级 bootstrap 重抽样的 95% 置信区间。
R. Results(结果)
1. 主结果(3 个随机种子的均值与标准差)
| 模型 | 域内 情感 F1 | 域内 转变 F1 | 域内 归因 Top-1 / MRR | 事件 OOD 情感 F1 | 事件 OOD 转变 F1 | 事件 OOD 归因 Top-1 / MRR |
|---|---|---|---|---|---|---|
| 纯文本 Transformer | 63.4 ± 0.7 | 48.2 ± 0.9 | — / — | 49.5 ± 1.2 | 39.1 ± 1.5 | — / — |
| Bi-GCN(改编) | 65.1 ± 0.5 | 55.7 ± 0.6 | 23.4 / 35.8 | 51.2 ± 1.0 | 44.3 ± 1.1 | 19.8 / 31.2 |
| 时序 GNN(TGN / TGAT) | 66.2 ± 0.8 | 56.5 ± 0.7 | 25.8 / 37.9 | 54.1 ± 1.1 | 47.2 ± 1.3 | 21.5 / 33.7 |
| GACL(改编) | 66.8 ± 0.6 | 57.2 ± 0.5 | 26.1 / 38.5 | 55.9 ± 0.9 | 48.6 ± 0.8 | 22.4 / 34.1 |
| C³T(本文) | 68.5 ± 0.4 | 61.3 ± 0.5 | 41.7 / 59.4 | 60.4 ± 0.6 | 54.8 ± 0.7 | 36.2 / 52.1 |
在事件 OOD(主评测)下,C³T 的归因 Top-1 相对最强基线 GACL 提升 13.8 个百分点(22.4 → 36.2,相对增幅逾 60%),是全部指标中优势最大的一项。
2. 开源 LLM 提示基线:情感 macro-F1 随上下文增加单调提升(Llama3 少样本:仅节点 50.8 → 节点+父 55.4 → 节点+祖先摘要 59.2);但归因始终不可靠,最佳为 Qwen2.5 少样本的 Top-1 25.8 / MRR 39.1,显著低于 C³T 的 36.2 / 52.1。作者据此指出:提示式方法难以稳定处理长而分叉的线程结构。
3. 消融(均在事件 OOD 测试集上)
| 配置 | 情感 F1 | 转变 F1 | 归因 Top-1 / MRR | 解读 |
|---|---|---|---|---|
| C³T 完整 | 60.4 ± 0.6 | 54.8 ± 0.7 | 36.2 / 52.1 | — |
| A1:去掉反事实损失 | 58.1 ± 0.8 | 52.9 ± 0.9 | 32.4 / 48.5 | 反事实正则确有贡献 |
| A2:去掉干预标签 | 55.7 ± 1.1 | 49.6 ± 1.2 | 25.1 / 38.9 | 影响最大——显式话语动作信号是最关键零件 |
| A3:去掉事件不变性 | 56.9 ± 0.9 | 51.3 ± 1.0 | 34.1 / 50.2 | 主要损伤在预测而非归因 |
| A4:只允许归因到直接父节点 | 59.2 ± 0.5 | 53.7 ± 0.6 | 21.5 / 21.5 | 情感与转变几乎不受影响,归因崩塌——真正的情感源头常不是直接父节点 |
4. 干预效应(k 跳 ATE,对下游负面性,95% 线程级 bootstrap CI)
| 源节点的话语动作 | ATE | 95% CI | 判定 |
|---|---|---|---|
| 辟谣 / 纠正 | -0.142 | [-0.178, -0.106] | 显著降低负面性 |
| 提供证据 / 链接 | -0.118 | [-0.153, -0.083] | 显著降低 |
| 引用权威 | -0.096 | [-0.135, -0.058] | 显著降低 |
| 提问 / 质疑 | -0.015 | [-0.062, +0.032] | 不显著(跨零) |
| 主张 / 断言 | +0.032 | [-0.012, +0.076] | 不显著(跨零) |
| 跑题 / 带偏 | +0.048 | [+0.005, +0.091] | 显著升高 |
| 讽刺 / 反语 | +0.064 | [+0.015, +0.113] | 显著升高 |
| 攻击 / 谩骂 | +0.235 | [+0.192, +0.278] | 效应量最大,为最强升级触发器 |
5. 案例研究(去除观察到的干预,效应记为 R_{i,m},与表中“开减关”的 ATE 约定符号相反):案例一,早期辟谣被判为某条中性回复的主导因果祖先,移除辟谣标签使该回复的预测负面性上升 0.18;案例二,一条攻击性祖先获得多条负面后代的大部分归因质量,移除攻击标签使预测负面性下降 0.22。
a / D. Discussion & Conclusion(讨论与结论)
- 泛化机制的解释:C³T 显著缩小了事件 OOD 与域内的性能落差,说明干预感知与事件不变的建模学到的表示更少绑定事件特定表层线索(人名、地名、话题标签),更多绑定对话功能(有证据支撑的纠正 vs. 敌意攻击)。增益最大的是因果祖先归因,表明模型更可靠地识别了塑造情感反应的更早消息,而非默认归因到直接父节点。
- A4 消融的实质含义:把归因候选限制为直接父节点时,情感与转变预测仅轻微下降(60.4 → 59.2;54.8 → 53.7),归因却从 36.2 崩至 21.5。这构成本文最强的结构性论据——回复的情感来源经常位于更上游,只看父子关系的建模范式会系统性地漏掉它。
- 对平台治理的实质发现:辟谣、举证与引用权威三类建设性动作均显著降低下游负面性,且效应在早期出现时更明显,与“澄清不确定性可以降温并减少对抗性回复”的判断一致;攻击 / 谩骂的正向效应量(+0.235)约为最强降温动作(辟谣,-0.142)绝对值的 1.7 倍,且其影响传播到直接父子交换之外,说明敌意话语是最值得优先干预的对象。
- 语境依赖的话语动作:提问 / 质疑与讽刺 / 反语呈现混合效应。作者解释,提问在某些事件中充当认知“减速带”(降低负面性),在另一些事件中则是对抗性开场(提高负面性),说明提问的形式与事件语境共同决定其下游语调;讽刺同理,可能用于嘲弄(升级)或表达圈内认同(稳定)。这与相应置信区间跨零的统计结论一致。
- 与 LLM 提示范式的比较:增加上下文(节点+父、节点+祖先摘要)能稳定改善 LLM 的情感判断,但归因始终不可靠,这正是作者主张结构感知的反事实建模的实证理由。
- 范围与局限:(a)所有效应均为观察性、基于模型的因果估计,须在“以可测语境为条件”下解读,不等同于随机实验;(b)分析仅刻画观察到的谣言中心对话树内 k = 2 跳的短程传播,不涵盖树外暴露、跨分支阅读或更长程扩散;(c)跨线程溢出被明示为有限干扰假设下的局限;(d)条件可忽略性在社交媒体的内生参与与潜在混淆下最为脆弱,作者的应对是只强调跨事件 / 跨平台稳定的模式;(e)异质性效应(按真伪、立场分层,或早期 vs. 晚期源节点)被明确列为探索性分析,除非报告了对应子组估计与置信区间,否则不作为主要证据。
🧠 IRMaD 思维导图
mindmap
root((对话树里的情感因果推理))
I 引言
回复树上情绪一路传下去
到底是哪句话带偏了气氛
既有研究只做立场与真伪
情感轨迹长期建模不足
R 问题
这条回复表达什么情感
相对父节点是升还是降
上游哪一条是真正源头
抹掉辟谣负面会多多少
M 方法
在公开谣言数据上加因果标注
八类话语动作多标签编码
开源大模型打标再做校准
置信过低则弃权不进损失
文本结构与时间三者合编
不用父节点情感标签做输入
祖先注意力窗口取十六
干预嵌入可被强制开关
反事实损失要求开关有差异
熵罚避免一切导致一切
事件级不变性罚项
训练测试来自不同事件
R 结果
事件外情感F1达60.4
归因首选命中36.2
比最强基线提升逾六成
大模型追溯源头仍不可靠
去掉干预标签损失最大
只看父节点归因崩到21.5
辟谣降低负面0.142
提供证据降低0.118
攻击谩骂升高0.235
提问与断言效果不确定
a 讨论
情感源头常在更上游
早期澄清确实能降温
敌意话语是最强升级触发器
提问是减速带还是挑衅看语境
D 结论
话语动作可当干预来估计
优先治理攻击性言论收益最大
仅覆盖树内两跳短程传播
条件可忽略性是最脆弱假设
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。