🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
你问聊天机器人一个问题，它说“抱歉，我不能回答”。多数人会觉得这很正常——毕竟它要“安全”。
但如果同一个问题，用英语问它就答，用俄语问它就闭嘴，那这件事就不太对劲了。拒答本身也是一种信息控制：它决定了哪些人能知道什么。
俄罗斯在二零二二年入侵乌克兰之后，通过了一系列法律，把“传播被认定为虚假的信息”定为犯罪，最高可判十五年。在这种环境下，一个国际大公司的聊天机器人如果在俄语里对某些话题特别“谨慎”，效果上就等于配合了当地的审查。作者想用数据把这件事量出来。
② 研究问题（要回答什么？）
研究提了两个问题：
- 问题一：三个主流聊天机器人（ChatGPT、Bing Chat、Bard）在被问到俄罗斯政治人物和相关议题时，拒答的程度有没有差异？这个差异会不会随提问语言而变化？
- 问题二：在它们愿意回答的时候，回答里包含虚假信息的比例有多高？
核心的对照设计是：同一批问题，翻译成三种语言去问。如果答案因为语言而系统性改变，那说明问题不在“知识不够”，而在“护栏在起作用”。
③ 研究方法（怎么做的？）
作者设计了一整套问题，围绕四个政治人物（普京、纳瓦利内、泽连斯基、拜登）以及十一个一般性议题（比如“俄罗斯是否在犯战争罪”）。
每种语言下，每个政治人物七十一句问题，加上十一个一般问题；英语因为语法原因略少，四十八乘四加十一。最后每个机器人要回答七百九十三句，三个机器人合计两千三百七十九次问答。提问时间集中在二零二三年八月十五日到二十五日这十天里，避免模型更新带来干扰。
获取方式不完全一样：ChatGPT 走官方接口，版本是三点五；Bard 和 Bing Chat 没有开放接口，只能人工一条条输入，Bing 用的是“平衡”模式。
拿到回答后，两位精通三种语言、具备相关领域知识的编码者逐条人工编码：这条是拒答还是回答？如果回答了，内容是否完全属实（只要有一个细节错，就算虚假）。两人一致性在零点八六到零点九三之间，属于“高度一致”。
④ 结果（发现了什么？）
最刺眼的发现在谷歌 Bard 的俄语表现上：
问普京，Bard 在俄语下拒答九成；换成乌克兰语降到四成六；换成英语只剩一成九。
同样的信息在谷歌搜索里随手可得，所以拒答不能解释为“训练数据没有”。
另外两家也没好到哪去：问普京，ChatGPT 和 Bing 在俄语下的拒答率约为五成。把带脏话的问题剔除后，Bard 的俄语拒答率仍然高达九成四，而 Bing 是三成四、ChatGPT 是两成六。
虚假信息方面：用乌克兰语和俄语提问时，模型编造内容的比例明显高于英语。而且 Bard 在谈到俄罗斯政权的对手（纳瓦利内、泽连斯基）时，比其他两个模型更容易出错。有意思的是，关于拜登的问题，三个模型的虚假信息比例最低——作者推测是因为关于他的资料最多、整理得最好。
⑤ 讨论（这些发现说明什么？）
作者的核心判断是：这不像是随机的技术缺陷，而像是护栏在特定语言下被“调紧”了。
他们特别指出，Bard 在俄语下对普京话题的回避模式，和泄露出来的、俄罗斯当局发给本土搜索引擎的审查指引高度吻合。作者谨慎地说“无法确定这是否是刻意为之”，但强调实际效果是一样的。
更深一层的担忧是：用户会把“模型拒答”误读为“这个问题本身有问题”。当一个全球性工具在某种语言里系统性地沉默，它其实在悄悄塑造那种语言使用者的世界观。
作者也回应了“那只是安全措施”的辩护：安全措施应当与语言无关。如果同样的内容在英语里能说、在俄语里不能说，那它保护的就不是用户，而是某种政治秩序。
局限：只测了十天内的三个模型版本，模型迭代快；只覆盖俄罗斯相关议题；拒答的判定依赖人工，边界情况（比如含糊其辞）难免有主观性；而且无法从外部确认模型为何拒答。
⑥ 结论（最终结论 + 启示）
作者给出两点结论：
- 对平台：安全护栏必须做跨语言一致性审计。只看英文表现，会漏掉最大的风险。
- 对研究者：把拒答率当成一个独立的偏见指标来常规监测，而不是只盯着“回答里有没有错”。沉默和错误一样重要。
一句话：当你发现同一个问题只有某一种语言问不出答案时，被审查的可能不是模型，而是使用那种语言的人。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
大语言模型的政治偏见研究多集中于英文语境与单一模型（尤以 ChatGPT 为主），跨语言比较稀缺。与此同时，威权政体对生成式 AI 的“隐性审查”效应开始受到关注：若模型在特定语言下系统性回避敏感议题，其效果等同于本地审查制度。本文以俄乌战争为情境，对 ChatGPT（gpt-3.5-turbo-0301）、Google Bard、Bing Chat 三款聊天机器人在俄语、乌克兰语、英语三语下进行同构提问，比较拒答率与虚假信息率。贡献在于：(1) 首次将“拒答”作为独立因变量纳入 LLM 偏见测量；(2) 提供三语平行设计的因果识别逻辑——同题异语，若结果随语言漂移，则排除“知识缺失”解释；(3) 把模型行为与俄罗斯官方审查指引（Yandex 泄露文件）并置讨论。
I. Theoretical Framework & Hypotheses（理论框架与假设）
框架由三部分构成：
| 概念 | 来源 | 在本研究中的作用 |
|---|---|---|
| 平台治理与内容审查 | 平台研究 / 互联网审查文献 | 界定“拒答即审查”的分析视角 |
| 隐蔽审查（masked censorship） | 比较威权传播研究 | 解释商业护栏如何与本地法律同构 |
| 跨语言信息不平等 | 多语种 NLP 与传播学 | 设定“语言作为处理变量”的识别策略 |
研究不设形式化假设，而以两个研究问题（RQ1 拒答差异、RQ2 虚假信息流行度）组织分析。
M. Materials & Methods（材料与方法）
- 刺激材料：围绕四名政治人物（Putin、Navalny、Zelenskyy、Biden）与 11 条一般性议题构建问题库；俄语与乌克兰语各 71 条/人物，英语 48 条/人物（受语法可译性限制）。合计每模型 793 条查询（俄/乌各 295，英 203），三模型共 2,379 次交互。
- 施测：2023-08-15 至 2023-08-25（10 天内完成，控制模型版本漂移）。ChatGPT 经 OpenAI API（gpt-3.5-turbo-0301，默认参数）；Bard 与 Bing Chat 无公开 API，人工逐条输入（Bing 使用 Balanced 模式）。
- 翻译程序：DeepL 初译 + 人工校订（乌克兰语由母语者核对，英语由流利使用者核对，全部校对者精通俄语）。
- 编码：两名编码者（三语能力均达高级以上）对每条响应编码 Refusal（是否拒答）与 Truth（若作答，全部细节是否属实；任一细节错误即记为 false）。低置信条目由两人共识编码解决。各语言 × 各维度的编码者间一致性为 0.86–0.93。
- 分析：按模型 × 语言 × 政治人物交叉比较拒答率与虚假率；辅以剔除含脏话查询的稳健性检验。
R. Results（结果）
| 指标 | Bard | Bing Chat | ChatGPT |
|---|---|---|---|
| 普京问题拒答率（俄语） | 90% | ~50% | ~50% |
| 普京问题拒答率（乌克兰语） | 46% | — | — |
| 普京问题拒答率（英语） | 19% | — | — |
| 剔除脏话后普京拒答率（俄语） | 94% | 34% | 26% |
关键发现：(1) 拒答存在显著的语言 × 对象交互——同一模型对同一人物，拒答率可因语言相差 4–5 倍，且该差异不能由信息可得性解释（谷歌搜索可即时检索到相关内容）。(2) 虚假信息率在乌克兰语与俄语提示下高于英语，呈现“非英语语料质量更差 + 护栏更易触发”的叠加。(3) Bard 对俄政权批评对象（Navalny、Zelenskyy）的虚假陈述比例高于另两个模型。(4) 拜登相关查询的虚假率最低，与训练语料覆盖度一致。
a / D. Discussion & Conclusion（讨论与结论）
- “拒答即审查”的分析价值：把 refill 率当作独立偏见指标，能捕捉到仅看“答案对错”时完全不可见的信息控制。
- 意图不可证，效果可测：作者明确承认无法判定 Bard 的行为是否刻意，但指出其模式与 Yandex 泄露的俄方审查指引高度同构，效果等价性足以构成公共议题。
- 安全护栏的中立性假设不成立：若同一内容在英语可答、在俄语不可答，护栏保护的并非用户，而是特定政治秩序；平台需建立跨语言一致性审计。
- 对传播学的方法论启示：LLM 已成为信息中介，其“沉默”应被纳入媒介偏见研究的常规测量，与议程设置、守门人研究对话。
- 局限：三款模型、十天窗口、单一地缘议题；模型版本迭代使结论具时效性；拒答编码在语义模糊响应上存在主观性；无法观测模型内部策略。
🧠 IRMaD 思维导图
mindmap
root((大模型的沉默))
I 引言
拒答也是一种审查
研究偏重英文与单模型
俄乌战争提供情境
R 问题
拒答率有无差异
是否随语言变化
虚假信息多不多
M 方法
四个人物十一个议题
三语共七百九十三问
十天窗口施测
两人人工编码
R 结果
俄语拒答达九成
英语仅一成九
剔脏话后升至九成四
非英语虚假率更高
拜登题错误最少
a 讨论
效果等同本地审查
护栏并不中立
沉默塑造世界观
D 结论
做跨语言一致性审计
把拒答率当偏见指标
别只看英文表现
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。