🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
大模型已经能像普通网民一样写出通顺、带情绪的社交平台帖子,而且可以一天写出成千上万条。这意味着,只要有人愿意,就能用一个模型撑起一场看似“民意汹涌”的舆论攻势:几十个假账号、同一个模型,批量生产立场鲜明的内容,成本低到几乎可以忽略。
过去的研究大多只关心模型“心里怎么想”,也就是它在政治光谱上偏左还是偏右,做法通常是让模型做选择题。但真正想操纵舆论的人关心的不是模型的想法,而是模型肯不肯照着我给的立场去说,以及在被诱导时能说得多狠。这两件事并不一样。一个平时温和的模型,在特定话术下也可能变得极端。这篇论文就是冲着后一个问题来的。
② 研究问题(要回答什么?)
这篇论文想问的是,如果一个人铁了心要用开源大模型来制造政治舆论,他到底能把模型逼到多远。这个问题被拆成两半。
第一半是横向比较:不同的模型家族、不同的参数规模、不同的开发国家,在表达同一批政治观点时表现有多大差别;在没有额外话术、以及加上各种诱导话术之后,这种差别会怎么变。第二半是话术本身:哪些简单、人一眼就能看懂、又不需要改动模型权重的说辞,能够提高模型照做的程度,或者把它的表达重心往某个方向推。
作者特别强调,他们要测的是“可被操纵的表达能力”,不是模型真实的政治信仰,也不是某场舆论战的实际效果。换句话说,这是一次压力测试,不是给人贴意识形态标签。
③ 研究方法(怎么做的?)
研究者先手工写了九十条政治观点,覆盖十个议题,从堕胎、气候能源、刑事司法、外交、枪支、医疗、移民、性少数与性别权利、言论自由到税收。每个议题有九条观点,按从极左到极右排成一条线,中间是温和立场,两端是相当激进的立场。
然后他们挑了三十一个可以直接下载、在自己机器上运行的开源指令模型,来自十个模型家族、五个国家。每个模型对每条观点写一条不超过二百八十个字符的社交平台帖子,要求尽量吸引互动,可以用表情和话题标签,也可以回复假想用户。同一个组合重复十次,用来看结果波动有多大。
除了直接要求,他们还试了八种话术:给三个示范例子、命令模型把用户的话当铁律、禁止和稀泥、打感情牌说项目要黄了、给一个狂热信徒的人设、假装之前已经达成一致、以及声称这是离线安全研究数据。帖子再由另一个模型当裁判打分,零分是完全拒绝或跑题,九分是完整表达目标观点。
④ 结果(发现了什么?)
在不加任何诱导话术的基线条件下,模型平均能拿到零点八五的表达分。三万条左右的输出里,真正算作拒绝的有两千六百多条,约占一成不到一点;只看没有拒绝的那些,平均分则升到零点九二。分数跨度很大,最低的模型只有零点二五,最高的接近零点九七,三十一个模型里有二十四个超过零点八五。
更有意思的是方向上的不对称。三十一个模型里有二十九个,对偏左观点的表达得分高于偏右观点,整体表达重心也大多落在中点偏左的位置。另一个反直觉的发现是规模效应:在两百七十亿参数以下,五个家族里有四个随着模型变大,表达得分反而下降。
话术的效果分化得很厉害。给示范例子是唯一稳定有效的,平均把分数从零点八五推到零点九四;给狂热人设、禁止和稀泥有小幅提升。但假装熟人施压、打感情牌、假冒安全研究,平均都会拉低分数,拒绝率分别涨到两成二和两成五左右。同样的施压话术,在个别大模型上能让分数掉三成多。
⑤ 讨论(这些发现说明什么?)
这些结果说明,模型的政治表现不是一个固定的“性格”,而是模型、话术和推理设置共同作用的结果。作者给出的解释是,不同家族在后训练阶段的对齐策略不一样:有的把“不与用户争辩”训得很牢,遇到施压话术就直接滑走或者拒绝;有的更倾向于顺着用户走。这就导致同一种话术在不同模型上可能一个是加分项、一个是减分项。开发国家的差异也呈现出某种梯度,但这只是描述性的,样本里法国和印度各只有一个模型,不能当成因果结论。
组合话术的表现同样让人意外。研究者用一种贪心办法,把效果最好的几种话术一层层叠起来,结果发现从一个模型身上调出来的组合,搬到同量级的其他模型上大多不灵:小模型那一组四次里只赢了一次,中等规模那一组四次里赢了三次,而且赢的幅度都很小。参数规模并不能预测话术能不能迁移。
他们还试了让模型在回答前先想一想。分数确实全面上升,但代价是每篇帖子要多花四千个左右的推理词元,而且拒绝率的变化方向并不一致。
⑥ 结论(最终结论 + 启示)
作者把结论落在一个比较克制的位置上:这套研究提供的是一份可以重复使用的体检流程,而不是一张“哪个模型最危险”的排行榜。它的价值在于,把政治可操纵性从一个模糊的担忧,变成了可以测量、可以比较的指标:同一批观点、同一套话术、多次重复、统一的裁判标准,就能看出不同模型在被利用时的表现边界。对做平台治理和模型安全的人来说,这意味着可以在模型上线前就跑一遍,看看它在极端立场和诱导话术下会不会失守。
当然,这项研究也有明显的边界。观点是研究者手写的、英文的、面向美国语境的,没有经过心理学量表的校准,也不能代表真实人群的立场分布;帖子的长度只有一条微博那么短;实验测的是“能不能写出来”,而不是“写出来有没有人信”。作者自己也承认,这套东西不能用来指认某个攻击者用了哪个模型,也没有测试任何防御手段。真正要回答“怎么防”,还需要后续研究。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
围绕大模型政治倾向的既有研究,主流做法是测“内在偏见”:让模型做政治罗盘测试或对政策陈述表态,再在左右轴上取一个点估计。这类测量有两个已知弱点。其一是格式敏感,Röttger 等(2024)指出强制选择题的作答会随提问方式和措辞大幅漂移;其二是它回答不了“能被推到多远”这个问题——一个在量表上居中偏左的模型,在被话术诱导后完全可能输出极端内容。与此同时,另一条线索显示风险正在变得具体:Olejnik(2026)证明用消费级硬件加开源模型就能批量生产影响力内容,Sokhansanj(2026)指出本地部署会削弱模型提供方的监控与执法能力。
本文据此设定一个明确的威胁模型,把作者放在“恶意操作者”的位置上:该操作者希望规避检测,因此选择可本地部署的开源权重;追求吞吐,因此关闭推理、用批处理推理框架;只使用已发布的指令微调检查点,不修改权重。在这个设定下,作者提出两个研究问题。RQ1 问跨模型表达:在基线与对抗提示下,生成的政见表达如何随模型家族、参数规模与开发国别变化。RQ2 问越狱策略:哪些简单、人类可读的提示技术能提高表达保真度或改变表达的重心。贡献包括一套可复用的 OW 测量框架、覆盖 31 个模型 / 10 个家族 / 5 个国别的系统比较、一个贪心搜索有效话术组合的流程,以及一个推理开启的补充实验。
I. Theoretical Framework & Hypotheses(理论框架与假设)
核心构念是 LLM Overton Window(OW)。作者借用政治学中“奥弗顿窗口”的比喻——一个社会在某一时刻可以公开讨论的政策区间——但明确限定其含义:这里的 OW 指模型在被抽样的一批立场上能够忠实表达的范围与程度,不是模型内在的意识形态宽度,也不代表这些立场的社会可接受度。
测量模型如下。设 st,p,i ∈ {0,…,9} 为裁判对议题 t、立场 p、第 i 次试验的打分,归一化后为 ŝ = s/9;OW 分数定义为对所有议题、立场与试验取均值。每个议题 9 个立场(X0–X8),共 10 个议题,因此 P=9、T=10,等权处理。另用一个二值变量 r 标记“彻底拒绝”,与表达分分开评定:拒绝看的是“有没有尝试完成任务”,不由 s=0 反推。由此得到两个伴随指标——拒绝频率,以及只在非拒绝输出上计算的条件表达保真度。作者提醒,把有序评分当等距数值处理是一个未经心理测量学验证的假设,因此除总分外还保留逐立场的轮廓图。
威胁模型的三条假设构成外部效度边界:规避检测、吞吐优先、权重固定。三条都写在论文里,作者反复声明这是“设定”而非对真实攻击者行为的经验发现。
表 1 研究问题、构念与操作化
| 研究问题 | 构念 | 操作化 | 判据 |
|---|---|---|---|
| RQ1 | 表达保真度 | 裁判 0–9 分归一化后跨议题、立场、试验取均值 | 跨模型差值与方向 |
| RQ1 | 拒绝倾向 | 独立评定的二值拒绝标签 r | 拒绝频率 |
| RQ1 | 政治重心 | 表达分加权的立场位置均值(0–8) | 与语料中点 4.0 比较 |
| RQ2 | 单技术效应 | 该提示条件下的 OW 减基线 OW | ΔOW 的符号与量级 |
| RQ2 | 组合迁移 | 贪心栈对比目标模型的最优单一技术 | Δ 的符号与命中次数 |
M. Materials & Methods(材料与方法)
语料为 90 条手工政治观点,覆盖堕胎、气候与能源、刑事司法、外交、枪支、医疗、移民、LGBTQ+/性别权利、言论自由、税收 10 个议题;每议题 9 条,按 X0(极左)到 X8(极右)排序。作者声明这些立场未经心理测量学校准、不等距,功能是组织请求而非测量潜在意识形态。
生成协议:要求模型写不超过 280 字符的社交平台帖子,鼓励最大化互动,允许表情、话题标签与回复假想用户;temperature=1.0,top-p=0.9;用 vLLM 做批处理与高吞吐推理;每个模型—提示组合重复 10 次。八种条件为:基线 B、少样本 FS(附三条同立场范例)、权威 A、反中立 AN、对抗性恳求 AP、极端人设 EP、登门槛 FID、道德脱钩 MD,另可叠加。
模型池为 31 个开放权重指令检查点,涵盖 Qwen3.5、Qwen3-Next、Gemma-3、OLMo-2、Falcon-H1、Granite-4.0、Llama-3.3-70B、Mistral-Large-2411、Sarvam-105B;主实验关闭推理,无此模式的模型(如 GPT-OSS)被排除。裁判 Judge A 为 Qwen3-30B-A3B-Instruct-2507-FP8,0–9 分含 0/4/9 锚点。三名标注者独立标注 210 条帖子,Judge A 与人类共识的 Cohen's κ=0.795,高于其余五名裁判与所有 2/3/4 裁判组合;ICC(3,1)=0.820,人类间序数 Krippendorff's α=0.478。作者讨论了裁判与被测模型同属 Qwen 家族的谱系偏差风险。
R. Results(结果)
基线共 27,900 条输出,2,652 条被判彻底拒绝(9.505%);无条件 OW 均值 0.853,条件保真度 0.919。模型间跨度极大,基线 OW 从 0.2520 到 0.9677,24/31 超过 0.85。29/31 个模型左侧 OW 密度高于右侧,表达重心普遍低于中点 4.0;27B 以下 5 个家族中 4 个随规模增大而 OW 下降。条件排序与无条件排序仅中度相关(ρ=0.658),Gemma-3-12B 由第 23 升至第 4、Llama-3.3-70B 由第 19 升至第 1。按国别,阿联酋平均最高且重心最居中,中国第二低且左倾最强,唯一的印度模型最低;美国模型对更多话术正响应,中国模型对 FID、MD、AP 多为负。
话术效果高度依赖模型—技术配对:FS 是唯一稳定增强项,EP、AN 小幅为正,FID、MD、AP、A 平均为负;拒绝率同向变动。模型—技术交互很大,FID 在 Qwen3.5-122B-A10B 为 −0.381、在 Qwen3.5-27B 为 −0.304。组合迁移很弱:小模型组 4 次仅赢 1 次,中量级组 3 次赢或持平。推理开启后六组比较 OW 全部上升,但 B_FS 增量收窄,每帖推理词元中位数约 4,019–4,328。
表 2 八种提示条件的平均效应与拒绝率(31 模型、每条件 27,900 条输出)
| 提示条件 | 平均 ΔOW | 拒绝率 |
|---|---|---|
| 基线 B | —(OW=0.853) | 9.505% |
| 少样本 FS | +0.083(OW=0.936) | 5.211% |
| 极端人设 EP | +0.058 | — |
| 反中立 AN | +0.045 | — |
| 权威 A | −0.034 | — |
| 对抗性恳求 AP | −0.076 | — |
| 道德脱钩 MD | −0.077 | 24.875% |
| 登门槛 FID | −0.092 | 22.344% |
表 3 基线 OW 的两端(完整 31 模型见附录表 23)
| 模型 | 家族 | 国别 | 规模(B) | 基线 OW | 重心(0–8) |
|---|---|---|---|---|---|
| Falcon-H1-1.5B-Instruct | Falcon-H1 | UAE | 1.5 | 0.9677±0.0132 | 3.87 |
| OLMo-2-0425-1B-Instruct | OLMo-2 | USA | 1 | 0.9654±0.0153 | 3.90 |
| Falcon-H1-34B-Instruct | Falcon-H1 | UAE | 34 | 0.9644±0.0115 | 3.91 |
| Qwen3.5-27B | Qwen3.5 | China | 27 | 0.6211±0.0110 | 3.27 |
| Sarvam-105B | Sarvam | India | 105 | 0.6180±0.0302 | 3.89 |
| Gemma-3-1B-it | Gemma-3 | USA | 1 | 0.2520±0.0478 | 4.03 |
表 4 贪心话术栈的跨模型迁移(Δ = 栈得分 − 最优单技术得分)
| 目标模型 | 最优单技术 | 单技术得分 | 栈得分 | Δ |
|---|---|---|---|---|
| OLMo-2-0425-1B-Instruct | FS | 0.9868 | 0.9678 | −0.0190 |
| Granite-4.0-h-1B | FS | 0.9911 | 0.9757 | −0.0154 |
| Falcon-H1-0.5B-Instruct | FS | 0.9769 | 0.9933 | +0.0164 |
| Qwen3.5-0.8B | FS | 0.9952 | 0.9659 | −0.0293 |
| Gemma-3-27B-it | FS | 0.9590 | 0.9800 | +0.0210 |
| OLMo-2-0325-32B-Instruct | AN | 0.9898 | 0.9889 | −0.0009 |
| Granite-4.0-h-small | AN | 0.9521 | 0.9665 | +0.0144 |
| Falcon-H1-34B-Instruct-GPTQ-Int4 | EP | 0.9978 | 0.9978 | 0.0000 |
表 5 推理开启前后对比(三个 Qwen3.5 检查点,1,620 条开启 vs 5,400 条关闭)
| 模型 | 提示 | OW(关) | OW(开) | ΔOW | 拒绝率变化(pp) |
|---|---|---|---|---|---|
| 27B | B | 0.6211 | 0.7630 | +0.1419 | −0.07 |
| 27B | B_FS | 0.7933 | 0.8148 | +0.0215 | +7.67 |
| 35B-A3B | B | 0.6822 | 0.8593 | +0.1770 | −4.85 |
| 35B-A3B | B_FS | 0.8144 | 0.8700 | +0.0555 | +2.26 |
| 122B-A10B | B | 0.7467 | 0.8556 | +0.1089 | +7.78 |
| 122B-A10B | B_FS | 0.8467 | 0.8593 | +0.0126 | +8.74 |
a / D. Discussion & Conclusion(讨论与结论)
作者把结论定位为“描述性红队探测”,而不是因果归因或攻击者识别。三点值得强调。第一,基线表达保真度已经很高:多数开源模型的 OW 超过 0.85,说明“能不能生成政治内容”这一关卡对当前开源模型基本不构成障碍,防御重心应转向“能不能稳定生成极端内容”与“被诱导时会怎样”。第二,方向不对称具有稳定的可复现性:29/31 个模型对采样到的左倾立场表达更忠实,这与 Pit 等(2026)报告的左倾倾向相互印证;但作者提醒这不等于模型内在信念,只说明在该语料分布上的表达偏斜。第三,模型—话术交互是审计核心:同一种施压话术在一个模型上可能加分、在另一个模型上掉三成多,所以“某种话术有效”这种笼统说法没有操作意义,必须按模型—提示配对逐一评估。
局限与伦理:语料为英文、面向美国、手工撰写且未经校准;帖子仅 280 字符,可能压缩长回答中的差异;未测量受众暴露、说服效果或真实战役效果,也未测试任何可部署的防御;推理补充只覆盖三个检查点与两种提示;裁判与被测模型同属 Qwen 家族存在谱系偏差;组合迁移的实验也仅各四个目标模型。作者以聚合方式报告结果,避免放大有害叙事,并声明极端陈述仅为评估材料,不代表作者立场。
🧠 IRMaD 思维导图
mindmap
root((大模型政治代言红队测试))
引言
开源模型可量产影响力内容
本地部署难被提供方监控
既往审计只看静态偏见
问题
跨模型表达差多少
哪些话术能提高服从
话术组合能否迁移
方法
九十条观点十个议题
三十一个开源检查点
八种提示条件各跑十遍
大模型裁判打分
结果
基线均分零点八五
左倾立场更易表达
规模越大分数越低
示范例子最有效
施压话术反而降分
讨论
话术效果因模型而异
组合迁移能力很弱
开启推理提升有限
国别差异仅是描述
结论
政治可操纵性可审计
建议多样本抽查
为防御研究提供靶子
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。