arXiv preprint · cs.HC · 2026-06-05 提交 · 未见同行评审或会议录用信息 · 人机交互与事实核查交叉方向

溯源脚手架助写社区注记

Shuning Zhang, Jingruo Chen, Yuwei Chuai 等 7 人 · arXiv preprint (cs.HC) · 2026 · DOI: 10.48550/arXiv.2606.07101 · arXiv: 2606.07101
原题:CANote: Empowering Fact-checking Note Writing Through Scaffolded and Provenance-based Human-AI Collaboration
Open Access 新颖度 0.72

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

网上一条假消息能在几十分钟里传遍各种群聊,等平台核实完,伤害往往已经造成。于是不少平台换了个思路:让用户自己给可疑帖子写一条补充说明,把核查结果和出处贴上去,交给众人打分。这套办法靠的是人多力量大,写得有证据、语气中立,说明就可能被顶到帖子下面。

难处在于写一条合格的说明非常费劲。写的人要先从帖子里挑出可以核查的具体说法,再一条条去网上找证据,最后把互相矛盾的信息揉成一段不偏不倚的短文。这个过程既耗时间又烧脑,很多想帮忙的人试一次就放弃了,真正愿意持续写的人始终是少数。结果是,越是传得快、越敏感的话题,越可能等不到那条说明。

② 研究问题(要回答什么?)

这篇论文想弄清楚的是:如果把这条又累又难的流程拆成有引导的几步,再让机器把查到的证据和帖子里的说法一一对上,人是不是就能写出更好的说明。

更进一步,作者还关心两件事。第一,这种帮助能不能把门槛降到普通人也能用的程度,让没受过训练的网友写出和专业核查员差不多的东西。第二,机器帮着写会带来什么副作用,人会不会变得更懒、更依赖,或者反过来觉得成品不像是自己写的。换句话说,文章问的不只是效果好不好,还包括要付什么代价。

③ 研究方法(怎么做的?)

作者做了一套网页工具,把写说明拆成四个首尾衔接的步骤:先找出帖子里可以核查的说法,再给每条说法配上有出处的证据,然后由机器生成一版草稿,最后让人挑出要跟说明一起公开的参考来源。这套工具名叫 CANote。

最要紧的设计是对得上号。每一条证据都会标明它来自哪个网址、支撑还是反驳哪一句说法;草稿里每个句子旁边都挂着可以点开的引用编号,点一下就能回到原文。工具还会刻意把支持和反对的证据一起摆出来,避免人只看到一边。找证据用的是带联网搜索能力的大模型,判断证据立场用的是专门的分类模型,写草稿用的是另一个更强的模型。

验证方式是一场分组的在线实验。研究者从众包平台招募了五十二位有核查经验的用户和五十二位普通用户,两组各分一半用工具、一半用模拟现有平台流程的对照界面。两边都配了同一个聊天助手,这样差别才只来自流程设计。帖子取自真实平台在二零二六年三月上半月公开征集说明的英文帖子。

④ 结果(发现了什么?)

结果很直接:用工具的人写出的说明质量明显更高。按平台自己的评分口径,工具组平均接近零分,全靠手写的那组是负一点七一分,平台现有的自动说明系统是零点零八分,工具组与它基本打平。

更有意思的是人和人之间的差距。在纯手写条件下,专业核查员明显强于普通网友;可一旦用上工具,普通网友就追上了专业核查员,甚至有工具加持的普通人还显著超过了没有工具的专业人士。

时间和累不累并不是这次的亮点。两组的写作耗时都在五分钟左右,统计上没有差别;任务负荷问卷的六个维度也没有任何一项出现显著差异。真正有变化的是主观感受:用过工具的人觉得它更有帮助、更高效、更新颖,满意度更高,也更愿意以后继续用。

代价同样清楚。使用者觉得自己对这条说明的拥有感变弱了,对写作过程的掌控感也下降了。

⑤ 讨论(这些发现说明什么?)

作者的解释是,工具并没有让人变轻松,而是把力气挪了个地方:从漫无目的地找资料,转到核对和修改上。行为数据支持这个说法。超过四分之三的人动手改过机器写的草稿,一半多的人自己挑过引用来源,还有近三成的人改过机器标注的立场,而且改的方向有来有回,既有人把支持改成反对,也有人反过来改。

另一个值得注意的现象是信任并没有随着好用而飙升。使用者确实觉得系统更可靠,但整体的信任分数并没有显著提高。作者认为这反倒是好事:把证据和推理过程摊开来看,人更容易发现问题,而不是一股脑接受。

文章也提醒了新风险。工具把偏见从人自己搜什么,挪到了人怎么看待摆出来的证据,人仍然可能只挑合自己心意的来源;更麻烦的是责任归属,一条合作写出来的说明出了错,到底算人的还是算机器的,平台需要给出清楚的标识。

⑥ 结论(最终结论 + 启示)

说到底,这项工作想证明的是一件挺朴素的事:把专家心里的那套步骤,外化成界面上的一二三四步,普通人也可能写出像样的东西。

作者认为,这对正在铺开社区说明的平台有现实意义。新机制最怕冷启动,没人愿意写、写了也没人看,工具能快速把能写的人变多,也能当作新手的训练轮子。反过来,工具也让平台承担了新的责任:既然草稿和证据都是机器找的,平台就得保证这些来源本身靠得住,出了问题也要说得清是谁的责任。

但设计上必须留住人的判断:草稿要能改,证据要能查,立场要能推翻。至于拥有感下降这件事,作者没有给出解法,只把它列为后续要认真对待的问题,并提醒:让人写得更快更容易,不等于让人更愿意为写出来的东西负责。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

众包事实核查已成为平台治理虚假信息的主要手段之一。X 的 Community Notes 机制允许贡献者为可疑帖子附加带出处的上下文说明,其传播效果与采纳条件已有大量实证研究。但撰写一条合格注记的成本极高:贡献者须识别可核查主张、跨来源检索证据、综合互相冲突的信息,并按中立性规范压缩为短文。这一多步流程带来显著认知负荷,既抑制潜在贡献,也在关键传播窗口内造成延迟。

既有的 AI 辅助尝试大致停留在“模型出草稿、人来提意见”的单轮协作,缺乏可解释性与交织式交互,人的价值判断与机器的证据检索难以真正对接。关于专业核查员需求的访谈研究已指出其对可追溯推理、显式证据与不确定性表达的期待,但这些洞察尚未落到可运行的交互系统中。

本文据此提出 CANote:以溯源(provenance)为核心的可解释流水线,配合脚手架式的分段共同起草。贡献有三。其一,系统本身——把子主张、证据与句子之间的三级映射做成可交互的界面对象。其二,分组的在线用户研究,量化其对注记质量、耗时、认知负荷与主观体验的影响。其三,识别出人机协作的代价:满意度上升而拥有感与掌控感下降。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文不检验单一因果假设,而以设计目标(Design Goals)组织系统,并据此提出可比较的经验预期。三条设计目标各自对应既有的经验发现:核查流程的复杂性导致放弃(DG1 脚手架);黑箱系统阻碍协作与信任校准(DG2 溯源);群体与 LLM 的立场偏置会诱发从众(DG3 双立场与自由编辑)。

编号设计目标文献依据界面落实
DG1为全流程提供结构引导流程复杂度与认知负荷(Wang et al., 2024; Nakov et al., 2021)四阶段流水线,任一阶段可回溯修改并向下游传播
DG2建立内容与主张的显式关联专业核查员对可追溯推理的需求(Warren et al., 2025)子主张—证据—句子三级唯一 ID 映射与可点击引用编号
DG3呈现平衡证据并允许自由编辑从众偏置与 LLM 立场偏置(Moscovici & Faucheux, 1972; Bakke & Heggelund, 2025)支持/反对双色标注、立场可改、全部文本可编辑

由此推出四条可检验预期:H1,使用脚手架系统者的注记质量高于手动流程;H2,其写作耗时与 NASA-TLX 负荷不高于手动;H3,普通用户借助系统可追平专业核查员;H4,溯源与双立场的暴露提升可靠性感知,但不必然提升整体信任。

理论上,本文把可解释性从“对分类结果的解释”重新定位为“创作过程的生成性支架”,并以分布式认知的视角解释机制:界面把专家的隐性推理步骤外化,使认知资源从信息觅食转向审计与编辑。

M. Materials & Methods(材料与方法)

系统由四个模块组成。子主张识别用 LLM 按标点切分并压缩为原子主张,每帖至多四条,用户可增删改,刻意不做重要性排序以规避偏置。证据检索使用 gemini-3.1-pro-search 与 gpt-5.1-search 而非通用搜索 API,以保留复杂主张的上下文;结果按标题与 URL 精确去重,至少取五个、展示上限八个,每条附短语级理由与原句引用,并强制覆盖支持与反对两种立场。立场识别用 claim_stance 模型双色标注,并以 SentenceBERT 相似度做子主张与证据的双向联动排序,不展示数值置信度。答复生成用 gemini-3.1-pro 拼接用户确认过的子主张、理由与证据,每句内嵌可点击的分组引用标记,会话以句子、证据、链接与选择四元组持久化。

构念测量工具口径
注记质量Community Note AI Note 的 claim opinion score平台官方口径,另设全自动 AI 作参照
有用性8 名 X 评分者人工评定三分类,评分者信度 0.65
负荷/信任/体验NASA-TLX、Trust in Automation、UEQ-S二十一与七点量表

实验为组间设计,两条件(CANote 与模拟 Community Notes 的手动基线,基线同样配检索助手以隔离脚手架效应)× 两群体(52 名认证核查者、52 名普通用户),每格 26 人,样本量由功效分析确定(α=0.05,1−β=0.80,d=0.80)。被试经 Prolific 招募,须在美英且通过率不低于九成五;帖子取自 2026 年 3 月上半月 X 的 AI Note Writer 接口。分析用 Welch t 检验、Mann-Whitney U 与方差分析。

R. Results(结果)

注记质量存在显著的技法主效应(F(2, 28.13)=59.92,p<.001,η²p=.810)。CANote(M=0.09)与全自动 AI(M=0.08)均显著优于手动基线(M=−1.71,校正后 p<.001),两者之间无差异(p=.958)。有用性呈同样格局(F(2, 27.10)=42.80,p<.001,η²p=.760)。写作时间为 5.33 对 5.96 分钟,不显著(Welch t=−0.413,p=.680,d=.061)。

指标统计量p结论
注记质量(三条件)F(2, 28.13)=59.92,η²p=.810<.001CANote≈AI>基线
写作时间Δ=−0.63 分钟,d=.061.680无差异
专家—普通人差距(基线)Δ=1.201,g=0.876.007专家显著更强
专家—普通人差距(CANote)Δ=0.294,g=0.256.443差距消失
普通人+CANote vs 无工具专家t=4.374,g=1.379<.001辅助者反超
可靠性感知U=1401.5,r=.25.037更高
整体信任—.469无差异
满意度/拥有感—.021/.001升/降

行为层面,76.40% 的会话中用户手动编辑生成文本(平均 23.60 次输入事件),51.40% 主动挑选来源,27.80% 改过 AI 标注的立场且翻转双向(反对转支持 46 次、支持转反对 37 次),29.20% 编辑过子主张;第二篇注记比第一篇平均短 19.60 字符。四十五岁以上者的心理需求、努力与挫败感显著更高(p=.029/.018/.017,r 约 .28–.31)。

a / D. Discussion & Conclusion(讨论与结论)

结果表明,脚手架与溯源式辅助提升的是注记质量而非速度。机制在于认知负荷的重新分配:信息觅食与综合的负担被前移到系统,人的精力转向核查与编辑,行为数据中高频的文本编辑、来源筛选与立场修正即为证据。这一再分配也解释了 NASA-TLX 六维度均无差异的结果——总量相当,结构改变。

最具政策含义的发现是专长差距的消解。手写条件下专家显著优于普通人,而使用 CANote 后两者无差异,且普通人加工具的组合显著优于无工具专家。这意味着界面的程序性脚手架在一定程度上把专家的隐性推理外化,从而降低参与门槛,对处于冷启动阶段的社区注记项目具有直接价值,也可作为新手训练工具。

代价与风险同样明确。其一,拥有感与控制感显著下降,且专家比普通人下降更多,提示熟练用户可能以主观作者身份换取效率。其二,整体信任未随可靠性感知同步上升,作者解读为透明度带来的审慎而非冷漠。其三,偏见由个体觅食转移到对结构化证据的解读,选择性接触与挑拣来源仍然可能;生成引擎优化、搜索引擎操纵与模型幻觉只能靠溯源与去重部分缓解,责任归属在混合主动式协作中仍不清晰。

工程成本方面,端到端生成平均延迟 54.73 秒(中位数 23.81 秒),平均消耗 77,697 个词元(输入 55,014、输出 22,683),按 gemini-3.1-pro 计价约每次 0.38 美元。作者认为可通过专用小模型替换、缓存与轻量搜索 API 压缩成本,并通过流水线异步化让用户感知不到延迟。局限包括:仅覆盖 X 平台的英文帖子与美英被试、未接入平台官方排序算法与真实发布闭环、未设置证据可信度评估与可核查性检测、依赖专有商用模型而难以复现。

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((溯源脚手架助写社区注记))
    I 引言
      社区注记靠志愿者
      写一条注记很费劲
      现有工具只给草稿
      缺可解释的交织协作
    R 问题
      脚手架能否提升质量
      溯源能否降低门槛
      普通人能否追上专家
      帮助的代价是什么
    M 方法
      四阶段流水线设计
      拆帖为可核查子主张
      双立场证据检索
      句子级引用编号
      五十二加五十二被试
      组间对照在线实验
    R 结果
      注记质量显著提升
      耗时负荷无差异
      普通人追平专业者
      满意度升拥有感降
    a 讨论
      认知负荷被重新分配
      透明度抑制盲目依赖
      选择性接触仍有风险
      责任归属需要标识
    D 结论
      流程外化补专家缺口
      可解平台冷启动
      人机协作需留掌控感

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。