arXiv 2026 · 一万三千八百个 LLM 智能体仿真 · 与真人实验剂量对齐

用大语言模型智能体评估社交媒体平台上的亲社会干预

Lucen Li, Erin Wertz, Muhammad Haroon 等 5 人 · arXiv preprint · 2026 · arXiv: 2611.12922
原题:Using LLM Agents to Evaluate Prosocial Interventions on Social Media Platforms
计算传播学 政策与伦理仿真 Open Access 新颖度 0.78

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

你刷手机的时候,有没有发现:真正有用的新闻常常藏在后面,前面全是搞笑视频和明星八卦?这不是错觉。平台的信息流算法最喜欢“能让人停下来的内容”,严肃新闻往往拼不过猫猫狗狗。

可新闻其实很重要。常看新闻的人更了解公共事务,也更不容易被谣言骗。所以研究者一直想给信息流“做点手脚”:事实核查、加提示标签、调整排序、直接往里塞新闻,都是试过的招数。

麻烦在于验证。找真人做实验要招募、要付钱、要过伦理审查,还得看平台脸色;搭一个假平台,又很难凑出真实世界那么丰富的内容。作者于是想到一个折中办法:先用一群人工智能假人,在沙盘里把各种方案试一遍,就像新药上人体试验前,先在实验室里试。

这个沙盘叫 OASIS,专门用来模拟社交媒体。里面的“居民”不是真人,而是由大语言模型扮演的虚拟用户,会看帖、会点赞、也会挑食。

② 研究问题(要回答什么?)

这篇论文想回答三个问题。

注意,作者并不认为虚拟人能替代真人。他们要的是一个便宜的初筛工具:先在海量方案里挑出最有希望的几个,再花钱做真人实验。换句话说,他们要验证的不是“虚拟人像不像人”,而是“虚拟人排出来的名次,和真人排出来的名次像不像”。

③ 研究方法(怎么做的?)

整个实验可以想成搭一个“假推特”。

第一步,备货。研究者抓了约 46.7 万条真实英文推文,来自 1.2 万多个账号。其中约 3.2 万条来自 35 家口碑好、偏见低的新闻机构,比如路透社、美联社,这些就是“好新闻”的库存。他们还用分类器判断哪些帖子和政治有关,准确率约 91%,好把每条信息流里的政治内容控制在 10% 左右,接近真实用户看到的比例。

第二步,造人。他们造了 1.5 万个虚拟用户,最后留下 13835 个“至少动过一次”的。每个人的年龄、性别、学历都按真实美国推特用户的分布抽签,再让模型给每人起个像模像样的网名。

第三步,刷信息流。一共 20 轮。每轮每人拿到一条 40 条帖子的信息流,从新到旧排好。它可以点赞、评论、转发、关注,也可以什么都不做,还记得前五轮看过什么。

第四步,分组。所有人随机分进五组:什么都不改的对照组;加两条新闻;加四条新闻;把两条新闻顶到最前;把两条新闻伪装成名人发的。分完组,20 轮都不变。

第五步,算账。研究者用泊松混合模型统计每人每轮对新闻的互动次数,这种模型适合“次数少、偏态重”的数据。最后再把“加量”组和真人实验按投入剂量折算比较。

④ 结果(发现了什么?)

结果很清楚:四种干预都有效,但“顶到最前面”是压倒性的赢家。

0.027 次
对照组每人每轮对新闻的互动次数,几乎等于没有。
0.227 / 0.363 次
加两条、加四条新闻后,每轮互动分别升到这么多次。
1.618 次
把新闻顶到最前后,每轮互动次数,约为对照组的六十倍。
40.8%
顶置组全部互动中落在新闻上的比例;对照组只有 1.1%。

换个说法:新闻占用户注意力的比例,对照组是 1.1%,加两条是 7.6%,加四条是 12.0%,名人来源是 15.0%,顶置是 40.8%。

两两比较也有意思。名人来源比单纯加两条多带来 0.120 次互动,加四条多带来 0.136 次,两者只差 0.016,小到可以忽略。可顶置比加四条多出 1.255 次,比名人来源多出 1.271 次,是它们各自的四倍半上下。

人群差异很小。年纪大、学历高的人确实更爱看新闻,但最大的群体差距折成对数只有 0.188,而最小的干预效应是 2.136,差了一个数量级;也没发现哪种干预只对某一类人有效。

最关键的验证是:真人实验里,调高新闻推荐比例让人均每天多看 1.01 条新闻,新闻占观看比例提高 16.29 个百分点;仿真里加两条提高 6.55 个百分点,加四条提高 10.98 个百分点。绝对数不能直接比,但算“每多推一个百分点新闻,能换来多少百分点互动”,仿真得到 1.33 和 1.11,真人是 1.36,几乎对上了。

⑤ 讨论(这些发现说明什么?)

为什么顶置这么强?因为大家的注意力本来就堆在顶部。在对照组里,70% 的互动落在前三个位置;排在第一位的普通帖有 85% 会得到某种互动,排到第十位以后只剩 0.7%。新闻帖和普通帖站在同一个位置时待遇差不多(0.99 对 0.94 次),差别不在“是不是新闻”,而在“站得够不够高”。

不过作者很谨慎地提醒:大语言模型是把整条信息流当成一段长文字来读的,而模型对长文字的开头部分天然更上心。所以顶置效应里,可能有一部分是“模型看开头更仔细”造成的,不完全是真人那种“手指懒得往下滑”。要拆开这两者,得让排位和文字顺序分开,再做真人验证。

名人来源的效果小一些,而且主要集中在转发和关注上,点赞和评论增加不多。关注是一次性动作,说明它更像“第一眼觉得靠谱”,不一定代表长期关注。由于没有可直接对比的真人研究,作者把它当成一条值得去真人实验里验证的线索,而不是已经证实的结论。

至于“加量”,方向和真人实验一致,按投入折算后的效率也接近,但绝对幅度对不上——这也是很多虚拟人复现研究的通病。

⑥ 结论(最终结论 + 启示)

这篇论文给出的最终建议很直白:想让可信新闻被更多人看到,先调位置,再考虑加量,最后才是换来源。把新闻顶到信息流最前面,花同样的力气,效果可能是加量的四倍多。要是推荐位有限,把新闻放上去,比多生产新闻、或者请名人转发,都更划算。

方法上的意义更大。这套流程可以换内容、换干预、换人群,像积木一样重搭,用来给各种“亲社会”方案做初筛:先让虚拟用户跑一遍,把明显没戏的方案筛掉,再把钱花在最有希望的几个上。

但它不是万能钥匙。整个研究只用了 GPT-4o-mini 一个模型,虚拟人只有年龄、性别、学历三个标签,信息流也不会根据你的点击越推越偏。作者明确说:虚拟人能补充真人实验,不能替代真人实验。下一步该做的,是先用仿真给出预测,再拿真人去检验预测准不准。

这套思路也不只用于新闻:换成科普、公共卫生提示、选举信息,同样可以照方抓药,先仿真、再真人。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

社交媒体既是公共信息基础设施,也是亲社会干预(prosocial intervention)的试验场。既有评估设计大致四类:在线问卷实验、浏览器插件、模拟平台、与平台合作改写算法。四者都受硬约束——问卷外部效度低;插件依赖开发成本与用户授权;模拟平台难以复现真实内容生态;平台合作受 API 收紧与商业利益限制。传统 agent-based modeling(ABM)虽快且便宜,却以高度简化的规则代理替代用户,难以刻画情境化的信息选择与注意力分配。

LLM 智能体提供了第三条路。Argyle et al. (2023) 发现其可复现大规模调查的作答分布,Yeykelis et al. (2024) 报告其复现营销实验发现的比例达 76%。但 LLM 智能体并非在所有情境下类人(Chuang et al., 2024; Zeng et al., 2026),故其定位应是补充而非替代人类被试。本文据此把 LLM 仿真当作干预设计的沙盘:先在沙盘里排名,再决定谁进真人试验。

贡献有二。方法上,在同一仿真环境、同一内容池、同一共享注入载荷下,比较作用于新闻数量、位置、来源的三类干预,并以 Inject-2 为参照隔离各自操纵的边际效应;此前文献多分别检验单一机制,缺乏同场可比。实质上,将该管线用于“提升可信公共事务新闻曝光”这一低消费、高外部性的目标,并提出可与真人实验对齐的剂量归一效率,作为仿真预测效度的可操作判据。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文未构建形式化行为理论,而是把三类干预映射到三种注意力机制:曝光数量、位置显著性、来源可信度启发式。三者可比的前提是共享注入载荷——每一时间步所有处理组注入相同的前两条新闻,故与 Inject-2 的对比可识别“剂量翻倍”“位置提升”“来源替换”各自的边际贡献。据此提出以下预期。

编号预期机制与文献依据
H1相对 Control,三种干预均提高新闻互动曝光量、位置显著性与来源可信度均被证实影响注意分配
H2Inject-4 > Inject-2数量机制:注入剂量翻倍带来边际增益,但预期递减
H3Upranking > Inject-2 与 Inject-4位置机制:信息流注意力高度集中于顶部(Chan et al., 2025)
H4Celebrity > Inject-2,且与 Inject-4 相当来源机制:名人代言与认证标记构成可信度启发式
H5处理效应在年龄、性别、学历间无显著异质机制作用于注意分配前端,先于人口学调节
RQ1注入效应能否在方向与剂量归一效率上对齐真人实验Yu et al. (2024) 的 YouTube 算法助推实验为基准

Celebrity 条件只替换展示的作者名与认证标记,正文内容、数量与位置均与 Inject-2 完全一致,因此组间差异可归因于来源线索(含认证徽章),而非内容质量或视觉显著性。

M. Materials & Methods(材料与方法)

R. Results(结果)

指标Yu et al. (2024)Inject-2Inject-4
计数效应+1.01 条/活跃日+0.200 次/步+0.336 次/步
占比效应(pp)+16.29+6.55+10.98
剂量(pp)+11.99+4.93+9.86
剂量归一效率1.361.331.11

三组剂量归一效率落在 1.11–1.36 的窄区间,说明仿真对“投入—产出”比例的刻画与真人实验同阶;但计数尺度受平台形态与行为定义影响,绝对量不宜直接比对。另需注意率模型与计数模型的排序一致,唯 Celebrity 在转发与关注上超过 Inject-4,说明来源线索改变的是互动构成而非单纯总量。

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((智能体仿真评估干预))
    I 引言
      干预实验成本高
      行为模型太简化
      大模型智能体兴起
    R 问题
      三种干预谁更强
      效应能否跨人群
      能否对上真人实验
    M 方法
      一万三千八百三十五智能体
      二十轮四十帖信息流
      五种条件随机分配
      泊松混合效应模型
    R 结果
      顶置效应最大
      对照零点零二七
      顶置升至一点六一八
      剂量归一效率一点三三
      名人线索利转发关注
    a 讨论
      位置胜过数量来源
      长文本位置偏置
      单一模型局限
    D 结论
      先仿真后真人
      顶置新闻优先
      名人线索待验证

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。