arXiv 2026 · 预印本 · 欧盟 Horizon Europe INTACT/DETANGLE 资助

TeleTwin:校准的电报危机话语数字孪生,作为检测大语言模型信息行动的真实答案试验台

Despoina Antonakaki, Sotiris Ioannidis · arXiv preprint · 2026 · arXiv: 2610.23944
原题:TeleTwin: A Calibrated Digital Twin of Telegram Crisis Discourse as a Ground-Truth Testbed for Detecting LLM-Powered Information Operations
Open Access 新颖度 0.66

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

你可能在短视频里见过这样的账号:头像正常、说话像人,一天能发几十条不同措辞的政治消息。过去养这样一支水军要雇很多写手,现在有了大语言模型,几个人就能批量生产。问题在于,防守方想知道这些账号是不是一伙的,却几乎没有标准答案:平台很少公布哪些账号被判定为协同操作,研究者只能拿被封号当参照,而封号本身就有偏差。电报更难办,它几乎不审查,内容靠频道广播和转发传播,没有关注关系可以顺藤摸瓜,也很少公开处置数据。更麻烦的是,研究者连哪些频道在协同都说不准,因为大家看的是同一批新闻,说话难免相似。这就好比考试没有标准答案,阅卷人只能凭感觉打分。于是作者想:能不能先造一个假的电报生态,里面谁跟谁是一伙的由研究者自己决定,再用它来检验检测器?

② 研究问题(要回答什么?)

这项研究想弄清楚两件事:假生态像不像真的,检测器抓不抓得住协同账号。第一个问题叫保真度:用大语言模型造出来的电报生态,能不能像真的那样跟着现实事件起落?研究者专门留出一段时间不给模型看,其中包含二零二五年六月的伊朗与以色列战争,看它会不会自己感觉到战争爆发、消息量跟着涨。第二个问题叫检测:如果往真实数据和假生态里都塞进一批由大语言模型写的协同账号,现成的方法还能不能把它们找出来?这些方法包括找相同文字、相同链接、同一时间发帖,以及用多语言语义相似度找换了说法但意思一样的帖子。作者还关心公平:检测器会不会更容易误伤某些政治立场的人群。如果假生态能通过保真度考试,研究者就有了一个可以反复做实验的沙盒:插多少账号、怎么改写、何时发帖,都由自己控制。

③ 研究方法(怎么做的?)

研究者的做法可以理解成照着真人的习惯排练一出戏。他们先从六个种子频道出发,沿着转发链接找了两跳,再补上被转发最多的外部频道,最后用关键词搜索补足视角,凑成一百九十五个公开频道,时间从二零二五年三月到八月,一共一百零七万四千零一十八条消息,其中二十一万五千七百二十二条与加沙和伊朗冲突有关。三月到五月的数据用来排练,六月到八月留着考试。戏里的演员不是普通用户,而是频道本身:每个频道由一个大语言模型扮演,模型只知道它过去怎么写、多久发一次、爱转发谁。还有二十个官方或国家媒体频道不模拟,直接把真实消息按原时间播放,像广播里的新闻线。整个生态一小时一小时地往前走,模型看到最近六小时的消息,自己决定发新帖还是转发。

④ 结果(发现了什么?)

考试结果一半惊喜一半失望。在包含六月战争的留出期里,假生态每天关于冲突的消息量与真实数据高度同步,相关系数达到零点八六;只会跟着官方媒体放量的统计基线只有零点六四,另一个基线甚至是负的。更神奇的是,没有人告诉模型打仗了,它却在六月十三日把消息量翻了一倍多。但它低估了冲击:真实世界那天涨了十倍多,假生态只涨了约两倍;平时也太爱聊冲突,一半消息都在讲加沙和伊朗,真实频道只有约四分之一;转发还容易滚雪球,四个以上频道参与的大转发链占百分之三点二,真实数据只有百分之一点一。检测实验更扎心:在真实数据里,只要把文案改写、错开发帖时间、去掉链接,找相同文字、相同链接、同一时间发帖的检测器就基本失灵;多语言语义检测能抓住喊得响的行动,却抓不住安静的,还会按政治立场不均匀地误报。把同样的行动放进假生态,所有检测器全部失效,因为假生态的背景消息彼此太像了。

⑤ 讨论(这些发现说明什么?)

作者认为,这些失败不是偶然的毛病,而是同一个根子:大语言模型扮演的频道比真实频道更像彼此。它们读同样的新闻线、用同一种模型的语言习惯,于是不约而同地盯住最热闹的冲突、转发同样的几条消息、写出风格相近的句子。对语义检测器来说,这样的背景本身就像一场协同行动,真正的行动反而淹没在里面。打个比方,全班同学都抄同一本参考书,交上来的答案自然雷同,老师反而看不出谁在作弊。作者还发现一个反直觉的经验:在提示词里直接要求转发比例百分之十没有用,模型不怎么听;真正有效的是把比例从数据里标定好,把选择留给模型,比如每次只给它固定数量的转发额度,让它自己挑转哪条。这个统计算比例、模型做选择的分工,可能是造数字孪生的一条通用经验。

⑥ 结论(最终结论 + 启示)

结论是:数字孪生确实能补上真实平台最缺的东西,也就是已知答案。研究者可以精确知道哪些频道是一伙的,从而公平地比较检测器。但前提是,孪生体不能只校准发多少条、什么时候发,还要校准大家说的话有多不一样。如果模拟人群比真人更同质,用它评估语义检测器就会得出过于乐观或过于悲观的结论。作者建议,以后做这类模拟的研究者应主动报告同质化指标,比如话题占比、转发链大小、背景语义相似度;也建议把语料从英语和俄语扩展到希伯来语和阿拉伯语,并用多个模型、多次运行来检验结论是否稳健。对平台来说,这意味着不能只靠内容相似度抓人,还要看账号历史、网络位置和影响方向;用一个过于干净的模拟世界去评估工具,则可能把真实世界的困难藏起来。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

大语言模型把生成流畅、人设一致的政治文本的成本压到接近于零,协同信息行动因此从团队写作变成少量操作者批量生成。然而检测研究长期建立在表层重叠之上:相同链接、相同话题标签、复制文本或紧密的时间同步。一旦每条消息都是新的改写或另一种语言的翻译,这些信号可以零成本消失。更根本的困难是缺乏真实答案:平台处置数据不完整且偏向平台已能识别的内容,而电报尤其如此,它审查极少、不公布处置清单,传播结构是频道广播与转发链,而非关注图与信息流。既有 LLM 社会模拟多针对微博或论坛原语,且多以描述性案例展示,未在留出真实数据上检验。本文贡献四点:首个以电报原语搭建、智能体由真实频道实例化的 LLM 数字孪生;一套含外生冲击的留出期保真度协议;一个成员身份精确已知的检测基准;以及按政治视角分层的误报审计。它服务的是计算传播学与信息行动治理:为协调检测器在改写与翻译面前还剩多少效力提供可复现的实验台。对平台治理而言,这意味着任何检测器的评估都必须公开其背景假设。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文不检验因果假设,而把数字孪生当作测量工具来评估,理论上连接两支文献。其一是社会模拟:从规则型 ABM 到生成式智能体,再到把平台模拟器称为 digital twin 的 Y Social;数字孪生的工程定义是可对物理对应物做实验的虚拟复制品,因此评价标准不是像不像故事,而是能否在未见过的真实数据上复现动态。其二是协同不真实行为检测:从账号级机器人检测转向账号间协调网络,代表性信号包括协同链接分享、同步发帖、近重复文本与多语言语义相似度。两支文献的缺口正好互补:检测缺真实答案,模拟能制造答案,但模拟背景是否可信尚未被量化。据此提出两个研究问题。RQ1(保真度):标定后的 LLM 孪生体在含外生冲击的留出期,能在多大程度上复现话题、时间与转发动态,又在哪里失败?RQ2(检测):当行动在文体(复制、改写、跨语言)、时间、规模与转发嵌入上变化时,协调检测器能在多大程度上识别成员身份已知的 LLM 行动?评估同时报告总体指标与分视角误报率,因为把某一政治群体的普通频道误判为协同,等于让检测器学习政治而非协调。

M. Materials & Methods(材料与方法)

R. Results(结果)

对照相关性/失败模式结论
真实数据相关 1.00;6 月 13 日峰值 10.62 倍评估参照
TeleTwin v10.86;峰值 2.19;域内份额 52.1%抓住节奏,低估冲击
Reactive0.64±0.05;峰值 1.40;JSD 0.018仅随线源放量
Static−0.08±0.09;峰值 0.98无事件响应
Tier B 孪生体语义 AUC 0.61/0.58;背景同质 0.14 对 6.1检测器全部失效

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((电报危机话语数字孪生))
    I 引言
      信息行动成本骤降
      电报缺少标准答案
      孪生体可造已知答案
    R 问题
      保真度能有多高
      检测器怕不怕改写
      失败模式在哪里
    M 方法
      频道即智能体
      一百九十五个频道
      一百零七万条消息
      逐小时大语言模型
      六月战争留出验证
    R 结果
      日度相关零点八六
      基线仅零点六四
      峰值低估近五倍
      级联过度放大
      真实数据经典检测失灵
    a 讨论
      智能体比真人同质
      提示词定不住比率
      语义检测偏爱响亮行动
      误报随立场不均
    D 结论
      孪生体可给真实答案
      须先校准背景多样性
      跨语言扩样本是下一步

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。