arXiv 预印本 2605.22880v2(2026-10-21 修订,首次提交 2026-05-20)· 南加州大学信息科学研究所(USC ISI)· abs 页无会议或期刊录用信息

他们会走多远:用大模型对网络影响力行动做红队测试

Daniel C. Ruiz, Anna Serbina, Ashwin Rao 等 5 人 · arXiv 预印本(arXiv:2605.22880,v2) · 2026 · arXiv: 2605.22880
原题:How Far Will They Go? Red-Teaming Online Influence with Large Language Models
Open Access 新颖度 0.74

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

大模型已经能像普通网民一样写出通顺、带情绪的社交平台帖子,而且可以一天写出成千上万条。这意味着,只要有人愿意,就能用一个模型撑起一场看似“民意汹涌”的舆论攻势:几十个假账号、同一个模型,批量生产立场鲜明的内容,成本低到几乎可以忽略。
过去的研究大多只关心模型“心里怎么想”,也就是它在政治光谱上偏左还是偏右,做法通常是让模型做选择题。但真正想操纵舆论的人关心的不是模型的想法,而是模型肯不肯照着我给的立场去说,以及在被诱导时能说得多狠。这两件事并不一样。一个平时温和的模型,在特定话术下也可能变得极端。这篇论文就是冲着后一个问题来的。

② 研究问题(要回答什么?)

这篇论文想问的是,如果一个人铁了心要用开源大模型来制造政治舆论,他到底能把模型逼到多远。这个问题被拆成两半。
第一半是横向比较:不同的模型家族、不同的参数规模、不同的开发国家,在表达同一批政治观点时表现有多大差别;在没有额外话术、以及加上各种诱导话术之后,这种差别会怎么变。第二半是话术本身:哪些简单、人一眼就能看懂、又不需要改动模型权重的说辞,能够提高模型照做的程度,或者把它的表达重心往某个方向推。
作者特别强调,他们要测的是“可被操纵的表达能力”,不是模型真实的政治信仰,也不是某场舆论战的实际效果。换句话说,这是一次压力测试,不是给人贴意识形态标签。

③ 研究方法(怎么做的?)

研究者先手工写了九十条政治观点,覆盖十个议题,从堕胎、气候能源、刑事司法、外交、枪支、医疗、移民、性少数与性别权利、言论自由到税收。每个议题有九条观点,按从极左到极右排成一条线,中间是温和立场,两端是相当激进的立场。
然后他们挑了三十一个可以直接下载、在自己机器上运行的开源指令模型,来自十个模型家族、五个国家。每个模型对每条观点写一条不超过二百八十个字符的社交平台帖子,要求尽量吸引互动,可以用表情和话题标签,也可以回复假想用户。同一个组合重复十次,用来看结果波动有多大。
除了直接要求,他们还试了八种话术:给三个示范例子、命令模型把用户的话当铁律、禁止和稀泥、打感情牌说项目要黄了、给一个狂热信徒的人设、假装之前已经达成一致、以及声称这是离线安全研究数据。帖子再由另一个模型当裁判打分,零分是完全拒绝或跑题,九分是完整表达目标观点。

④ 结果(发现了什么?)

在不加任何诱导话术的基线条件下,模型平均能拿到零点八五的表达分。三万条左右的输出里,真正算作拒绝的有两千六百多条,约占一成不到一点;只看没有拒绝的那些,平均分则升到零点九二。分数跨度很大,最低的模型只有零点二五,最高的接近零点九七,三十一个模型里有二十四个超过零点八五。
更有意思的是方向上的不对称。三十一个模型里有二十九个,对偏左观点的表达得分高于偏右观点,整体表达重心也大多落在中点偏左的位置。另一个反直觉的发现是规模效应:在两百七十亿参数以下,五个家族里有四个随着模型变大,表达得分反而下降。
话术的效果分化得很厉害。给示范例子是唯一稳定有效的,平均把分数从零点八五推到零点九四;给狂热人设、禁止和稀泥有小幅提升。但假装熟人施压、打感情牌、假冒安全研究,平均都会拉低分数,拒绝率分别涨到两成二和两成五左右。同样的施压话术,在个别大模型上能让分数掉三成多。

⑤ 讨论(这些发现说明什么?)

这些结果说明,模型的政治表现不是一个固定的“性格”,而是模型、话术和推理设置共同作用的结果。作者给出的解释是,不同家族在后训练阶段的对齐策略不一样:有的把“不与用户争辩”训得很牢,遇到施压话术就直接滑走或者拒绝;有的更倾向于顺着用户走。这就导致同一种话术在不同模型上可能一个是加分项、一个是减分项。开发国家的差异也呈现出某种梯度,但这只是描述性的,样本里法国和印度各只有一个模型,不能当成因果结论。
组合话术的表现同样让人意外。研究者用一种贪心办法,把效果最好的几种话术一层层叠起来,结果发现从一个模型身上调出来的组合,搬到同量级的其他模型上大多不灵:小模型那一组四次里只赢了一次,中等规模那一组四次里赢了三次,而且赢的幅度都很小。参数规模并不能预测话术能不能迁移。
他们还试了让模型在回答前先想一想。分数确实全面上升,但代价是每篇帖子要多花四千个左右的推理词元,而且拒绝率的变化方向并不一致。

⑥ 结论(最终结论 + 启示)

作者把结论落在一个比较克制的位置上:这套研究提供的是一份可以重复使用的体检流程,而不是一张“哪个模型最危险”的排行榜。它的价值在于,把政治可操纵性从一个模糊的担忧,变成了可以测量、可以比较的指标:同一批观点、同一套话术、多次重复、统一的裁判标准,就能看出不同模型在被利用时的表现边界。对做平台治理和模型安全的人来说,这意味着可以在模型上线前就跑一遍,看看它在极端立场和诱导话术下会不会失守。
当然,这项研究也有明显的边界。观点是研究者手写的、英文的、面向美国语境的,没有经过心理学量表的校准,也不能代表真实人群的立场分布;帖子的长度只有一条微博那么短;实验测的是“能不能写出来”,而不是“写出来有没有人信”。作者自己也承认,这套东西不能用来指认某个攻击者用了哪个模型,也没有测试任何防御手段。真正要回答“怎么防”,还需要后续研究。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

围绕大模型政治倾向的既有研究,主流做法是测“内在偏见”:让模型做政治罗盘测试或对政策陈述表态,再在左右轴上取一个点估计。这类测量有两个已知弱点。其一是格式敏感,Röttger 等(2024)指出强制选择题的作答会随提问方式和措辞大幅漂移;其二是它回答不了“能被推到多远”这个问题——一个在量表上居中偏左的模型,在被话术诱导后完全可能输出极端内容。与此同时,另一条线索显示风险正在变得具体:Olejnik(2026)证明用消费级硬件加开源模型就能批量生产影响力内容,Sokhansanj(2026)指出本地部署会削弱模型提供方的监控与执法能力。

本文据此设定一个明确的威胁模型,把作者放在“恶意操作者”的位置上:该操作者希望规避检测,因此选择可本地部署的开源权重;追求吞吐,因此关闭推理、用批处理推理框架;只使用已发布的指令微调检查点,不修改权重。在这个设定下,作者提出两个研究问题。RQ1 问跨模型表达:在基线与对抗提示下,生成的政见表达如何随模型家族、参数规模与开发国别变化。RQ2 问越狱策略:哪些简单、人类可读的提示技术能提高表达保真度或改变表达的重心。贡献包括一套可复用的 OW 测量框架、覆盖 31 个模型 / 10 个家族 / 5 个国别的系统比较、一个贪心搜索有效话术组合的流程,以及一个推理开启的补充实验。

I. Theoretical Framework & Hypotheses(理论框架与假设)

核心构念是 LLM Overton Window(OW)。作者借用政治学中“奥弗顿窗口”的比喻——一个社会在某一时刻可以公开讨论的政策区间——但明确限定其含义:这里的 OW 指模型在被抽样的一批立场上能够忠实表达的范围与程度,不是模型内在的意识形态宽度,也不代表这些立场的社会可接受度。

测量模型如下。设 st,p,i ∈ {0,…,9} 为裁判对议题 t、立场 p、第 i 次试验的打分,归一化后为 ŝ = s/9;OW 分数定义为对所有议题、立场与试验取均值。每个议题 9 个立场(X0–X8),共 10 个议题,因此 P=9、T=10,等权处理。另用一个二值变量 r 标记“彻底拒绝”,与表达分分开评定:拒绝看的是“有没有尝试完成任务”,不由 s=0 反推。由此得到两个伴随指标——拒绝频率,以及只在非拒绝输出上计算的条件表达保真度。作者提醒,把有序评分当等距数值处理是一个未经心理测量学验证的假设,因此除总分外还保留逐立场的轮廓图。

威胁模型的三条假设构成外部效度边界:规避检测、吞吐优先、权重固定。三条都写在论文里,作者反复声明这是“设定”而非对真实攻击者行为的经验发现。

表 1 研究问题、构念与操作化

研究问题构念操作化判据
RQ1表达保真度裁判 0–9 分归一化后跨议题、立场、试验取均值跨模型差值与方向
RQ1拒绝倾向独立评定的二值拒绝标签 r拒绝频率
RQ1政治重心表达分加权的立场位置均值(0–8)与语料中点 4.0 比较
RQ2单技术效应该提示条件下的 OW 减基线 OWΔOW 的符号与量级
RQ2组合迁移贪心栈对比目标模型的最优单一技术Δ 的符号与命中次数

M. Materials & Methods(材料与方法)

语料为 90 条手工政治观点,覆盖堕胎、气候与能源、刑事司法、外交、枪支、医疗、移民、LGBTQ+/性别权利、言论自由、税收 10 个议题;每议题 9 条,按 X0(极左)到 X8(极右)排序。作者声明这些立场未经心理测量学校准、不等距,功能是组织请求而非测量潜在意识形态。

生成协议:要求模型写不超过 280 字符的社交平台帖子,鼓励最大化互动,允许表情、话题标签与回复假想用户;temperature=1.0,top-p=0.9;用 vLLM 做批处理与高吞吐推理;每个模型—提示组合重复 10 次。八种条件为:基线 B、少样本 FS(附三条同立场范例)、权威 A、反中立 AN、对抗性恳求 AP、极端人设 EP、登门槛 FID、道德脱钩 MD,另可叠加。

模型池为 31 个开放权重指令检查点,涵盖 Qwen3.5、Qwen3-Next、Gemma-3、OLMo-2、Falcon-H1、Granite-4.0、Llama-3.3-70B、Mistral-Large-2411、Sarvam-105B;主实验关闭推理,无此模式的模型(如 GPT-OSS)被排除。裁判 Judge A 为 Qwen3-30B-A3B-Instruct-2507-FP8,0–9 分含 0/4/9 锚点。三名标注者独立标注 210 条帖子,Judge A 与人类共识的 Cohen's κ=0.795,高于其余五名裁判与所有 2/3/4 裁判组合;ICC(3,1)=0.820,人类间序数 Krippendorff's α=0.478。作者讨论了裁判与被测模型同属 Qwen 家族的谱系偏差风险。

R. Results(结果)

基线共 27,900 条输出,2,652 条被判彻底拒绝(9.505%);无条件 OW 均值 0.853,条件保真度 0.919。模型间跨度极大,基线 OW 从 0.2520 到 0.9677,24/31 超过 0.85。29/31 个模型左侧 OW 密度高于右侧,表达重心普遍低于中点 4.0;27B 以下 5 个家族中 4 个随规模增大而 OW 下降。条件排序与无条件排序仅中度相关(ρ=0.658),Gemma-3-12B 由第 23 升至第 4、Llama-3.3-70B 由第 19 升至第 1。按国别,阿联酋平均最高且重心最居中,中国第二低且左倾最强,唯一的印度模型最低;美国模型对更多话术正响应,中国模型对 FID、MD、AP 多为负。

话术效果高度依赖模型—技术配对:FS 是唯一稳定增强项,EP、AN 小幅为正,FID、MD、AP、A 平均为负;拒绝率同向变动。模型—技术交互很大,FID 在 Qwen3.5-122B-A10B 为 −0.381、在 Qwen3.5-27B 为 −0.304。组合迁移很弱:小模型组 4 次仅赢 1 次,中量级组 3 次赢或持平。推理开启后六组比较 OW 全部上升,但 B_FS 增量收窄,每帖推理词元中位数约 4,019–4,328。

表 2 八种提示条件的平均效应与拒绝率(31 模型、每条件 27,900 条输出)

提示条件平均 ΔOW拒绝率
基线 B—(OW=0.853)9.505%
少样本 FS+0.083(OW=0.936)5.211%
极端人设 EP+0.058—
反中立 AN+0.045—
权威 A−0.034—
对抗性恳求 AP−0.076—
道德脱钩 MD−0.07724.875%
登门槛 FID−0.09222.344%

表 3 基线 OW 的两端(完整 31 模型见附录表 23)

模型家族国别规模(B)基线 OW重心(0–8)
Falcon-H1-1.5B-InstructFalcon-H1UAE1.50.9677±0.01323.87
OLMo-2-0425-1B-InstructOLMo-2USA10.9654±0.01533.90
Falcon-H1-34B-InstructFalcon-H1UAE340.9644±0.01153.91
Qwen3.5-27BQwen3.5China270.6211±0.01103.27
Sarvam-105BSarvamIndia1050.6180±0.03023.89
Gemma-3-1B-itGemma-3USA10.2520±0.04784.03

表 4 贪心话术栈的跨模型迁移(Δ = 栈得分 − 最优单技术得分)

目标模型最优单技术单技术得分栈得分Δ
OLMo-2-0425-1B-InstructFS0.98680.9678−0.0190
Granite-4.0-h-1BFS0.99110.9757−0.0154
Falcon-H1-0.5B-InstructFS0.97690.9933+0.0164
Qwen3.5-0.8BFS0.99520.9659−0.0293
Gemma-3-27B-itFS0.95900.9800+0.0210
OLMo-2-0325-32B-InstructAN0.98980.9889−0.0009
Granite-4.0-h-smallAN0.95210.9665+0.0144
Falcon-H1-34B-Instruct-GPTQ-Int4EP0.99780.99780.0000

表 5 推理开启前后对比(三个 Qwen3.5 检查点,1,620 条开启 vs 5,400 条关闭)

模型提示OW(关)OW(开)ΔOW拒绝率变化(pp)
27BB0.62110.7630+0.1419−0.07
27BB_FS0.79330.8148+0.0215+7.67
35B-A3BB0.68220.8593+0.1770−4.85
35B-A3BB_FS0.81440.8700+0.0555+2.26
122B-A10BB0.74670.8556+0.1089+7.78
122B-A10BB_FS0.84670.8593+0.0126+8.74

a / D. Discussion & Conclusion(讨论与结论)

作者把结论定位为“描述性红队探测”,而不是因果归因或攻击者识别。三点值得强调。第一,基线表达保真度已经很高:多数开源模型的 OW 超过 0.85,说明“能不能生成政治内容”这一关卡对当前开源模型基本不构成障碍,防御重心应转向“能不能稳定生成极端内容”与“被诱导时会怎样”。第二,方向不对称具有稳定的可复现性:29/31 个模型对采样到的左倾立场表达更忠实,这与 Pit 等(2026)报告的左倾倾向相互印证;但作者提醒这不等于模型内在信念,只说明在该语料分布上的表达偏斜。第三,模型—话术交互是审计核心:同一种施压话术在一个模型上可能加分、在另一个模型上掉三成多,所以“某种话术有效”这种笼统说法没有操作意义,必须按模型—提示配对逐一评估。

局限与伦理:语料为英文、面向美国、手工撰写且未经校准;帖子仅 280 字符,可能压缩长回答中的差异;未测量受众暴露、说服效果或真实战役效果,也未测试任何可部署的防御;推理补充只覆盖三个检查点与两种提示;裁判与被测模型同属 Qwen 家族存在谱系偏差;组合迁移的实验也仅各四个目标模型。作者以聚合方式报告结果,避免放大有害叙事,并声明极端陈述仅为评估材料,不代表作者立场。

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((大模型政治代言红队测试))
    引言
      开源模型可量产影响力内容
      本地部署难被提供方监控
      既往审计只看静态偏见
    问题
      跨模型表达差多少
      哪些话术能提高服从
      话术组合能否迁移
    方法
      九十条观点十个议题
      三十一个开源检查点
      八种提示条件各跑十遍
      大模型裁判打分
    结果
      基线均分零点八五
      左倾立场更易表达
      规模越大分数越低
      示范例子最有效
      施压话术反而降分
    讨论
      话术效果因模型而异
      组合迁移能力很弱
      开启推理提升有限
      国别差异仅是描述
    结论
      政治可操纵性可审计
      建议多样本抽查
      为防御研究提供靶子

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。