arXiv 预印本 · 南加州大学(USC)· 646 条敏感提示词审计

大模型怎么“说半句”:用提示词审计 DeepSeek 的信息压制

Peiran Qiu, Siyi Zhou, Emilio Ferrara · arXiv (preprint) · 2025 · arXiv: 2506.12349
原题:Information Suppression in Large Language Models: Auditing, Quantifying, and Characterizing Censorship in Deepseek
提示词·Skill·语料库的治理应用 AI·医学·科技伦理 Open Access 新颖度 0.76

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

你有没有遇到过这种情况:问AI一个敏感问题,它没有拒绝,也认真答了一大段,但答的内容和问题几乎没关系——绕来绕去,就是不碰关键点。你可能觉得它“笨”,其实它可能是被“剪过”了。

OpenAI、DeepSeek 这类大模型在发布前会做“对齐”,让它更有用、更无害。但如果对齐的尺度被用来删掉某些事实,这种过滤往往藏在模型内部,用户看不见——你只看到最终答案,看不到它本来想说什么。

② 研究问题(要回答什么?)

作者提出三个问题:

关键创新是:DeepSeek-R1 会输出“思考过程”,也就是它自己推理的步骤。作者就把思考过程和最终答案放在一起比——如果思考时提到了,回答时却没了,那就是被压制的证据。

③ 研究方法(怎么做的?)

作者从“中国数字时代”这个记录被删文章的网站,挑出646个至少有一篇文章被删的话题,每个话题写成一句中文提示词:“请评论中国社会中的这个议题:……”。

为了做对照,又手工挑了20个无关政治的中性话题,用去掉“中国”二字的版本提问。

然后把所有提示词交给 DeepSeek-R1(2025年2–3月,温度1.3),拿回两样东西:思考链和最终答案。接着用分词工具逐词比对:

作者还把646个话题按框架理论分成事件型(讲具体案例,286个)和主题型(讲结构背景,360个),再分12个大类。

④ 结果(发现了什么?)

结果分成两类“审查”:

硬拒绝(第一类)
12个话题(1.9%):4个直接报“内容存在风险”,8个返回空白
语义偏移(第二类)
72个话题(占有效回答的11.1%):思考链里有,答案里关键词全没了

也就是说,近九成的敏感提问都能得到回答,表面上看起来很开放;但其中一成多的回答,是把“想说的话”咽了回去。

哪些更容易被咽回去?事件型明显多于主题型;涉及政府问责、公民动员、透明度的话题最严重。相似度最不稳定的三类是:社会议题与权利(跨度0.81)、新冠疫情与公共卫生(0.69)、政治(0.64),统计检验(Mann-Whitney U)显示它们与基线有显著差异。

词频分析更有意思:被删掉的词集中在“评论、维度、客观、核心、透明、改进、建议”这类分析与评价性词汇;而主题型回答里偶尔会多出一些与官方宣传口径一致的表述。

⑤ 讨论(这些发现说明什么?)

作者认为,这说明审查的形态变了:不是“不让你问”,而是“让你问了也白问”。硬拒绝容易引发反弹,也会留下明显的证据;语义稀释则温和得多——用户看到的是一段通顺但空洞的话。

他们也比较了此前研究:另一项用“蒸馏版”模型做的审计发现审查率高得多,而这次用官方API的完整版模型,硬拒绝只有1.9%。作者推测是模型版本与过滤策略不同——这本身就是一个值得警惕的发现:同一家族的不同版本,审查强度可能差很远。

局限也很明显:只有一家模型、一个时间段;话题来自被删文章,本身就带选择性;“关键词是否出现”只是审查的代理指标,不等于语义被完全删除。

⑥ 结论(最终结论 + 启示)

结论有两层。方法上:对比思考链与最终输出,是一种可复制的审计手段,能把看不见的过滤变成可量化的指标。治理上:开源模型的权重会被下载、微调、再部署,如果它内置了看不见的过滤,这些规则会跟着一起扩散到全世界——所以审计不能只做一次,要变成常规动作。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

LLM 的内容治理研究多关注“有害内容拒答率”,较少处理信息压制(information suppression)——即模型在可回答的情况下,系统性地省略、稀释或改写特定事实。此类压制难以从外部观测:输出流畅、无拒答信号,却与模型内部推理不一致。

DeepSeek-R1 的开放权重与显式思维链(CoT)为观测提供了罕见窗口。本文构建内容层审计框架,以“提示词—思维链—最终输出”三段比较定位语义级审查,并在646条政治敏感提示与20条中性基线间做对照,区分硬拒绝与语义偏移两种压制类型。

I. Theoretical Framework & Hypotheses(理论框架与假设)

概念操作化定义测量
Type 1 审查(硬拒绝)无 CoT 且无实质回答;返回 “Content Exists Risk” 或空串发生率
Type 2 审查(语义偏移)CoT 在场且切题,最终答案不含任何提示词关键词相关度分数 = 0
相关度分数同时出现在 CoT 与输出中的关键词比例逐提示计算(Jieba分词)
语义一致性“期望答案”(由CoT推导)与实际答案的余弦相似度向量化后比对,按话题组分布

框架的推断逻辑是:若 CoT 提及而输出省略,则压制发生在“推理→表述”环节,属模型内部对齐或后置过滤;若 CoT 本身即偏离,则更可能源于训练数据或基座偏置。话题分层借用 Iyengar 的框架理论(episodic vs thematic),以检验“具体案例是否比结构论述更易触发审查”。

M. Materials & Methods(材料与方法)

R. Results(结果)

指标数值说明
Type 1 硬拒绝1.9%(12/646)4 API错误 + 8 空串
Type 2 语义偏移11.1%(72/638)相关度为0
最不稳定话题组社会议题(极差0.81)相似度跨度
显著偏离基线COVID-19等3组Mann–Whitney U

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((模型说了半句))
    I 引言
      表面有问必答
      过滤藏在模型内部
      思考链提供窗口
    T 框架
      硬拒绝与语义偏移
      关键词相关度
      期望与实际的相似度
      事件型对比主题型
    M 方法
      六百四十六条提示词
      二十条中性基线
      逐词比对思考链
      按十二类分组检验
    R 结果
      硬拒绝百分之一点九
      语义偏移百分之十一
      事件型更易被删
      分析与问责词消失
    a 讨论
      审查转向语义稀释
      版本不同强度不同
      开放权重会扩散过滤
      关键词只是代理指标
    D 结论
      审计思考链可复制
      纳入模型披露清单
      建立常规第三方审计

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。