大模型新闻编辑偏向审计

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

大型语言模型正从问答工具变成信息入口。ChatGPT 月活超过七亿，日均消息量逾二十五亿条；作者用三份公开对话语料估计，英文提问中约百分之一点三到百分之五属于新闻检索（WildChat-1M 为百分之四点九九、WildChat-50M 为百分之二点二九、LMSYS-Chat-1M 为百分之一点三一）。这与搜索引擎的关键差别在于透明度：联网 LLM 把查询改写、检索、排序与摘要生成熔为一条端到端流水线，用户既看不到候选集，也看不到排序依据。既有审计文献已反复揭示 Google News 的媒体集中与小圈子化（Trielli and Diakopoulos, 2019; Hernandes and Corsi, 2024），但针对联网 LLM 的系统级媒体审计仍是空白；已有的 LLM 政治倾向研究多依赖问卷式或强制选择题，被批评会高估偏误，且很少触及真实的新闻消费场景。本文因此提出首个把三家联网 LLM 代理与 Google News 直接对照的审计：二十四个全球议题、连续七天、五百零四份回答与一百六十八份基线结果。作者主张这些系统已形成可测量的“代理式编辑政策”（agentic editorial policies），并以多样性、注意力分配、类别构成、意识形态与事实可靠性五个维度加以刻画，为媒体多元主义、平台权力与数据正义治理提供实证依据。

I. Theoretical Framework & Hypotheses（理论框架与假设）

框架来自三条文献脉络的接合。其一是算法审计传统：从社会科学审计研究延伸到无企业配合的外部审计，考察治理文档、输出与内部机制（Vecchione et al., 2021; Goodman and Trehu, 2023）；系统综述显示既有审计集中于搜索算法，且以英语与西方语境为主（Bandy, 2021; Urman et al., 2025）。其二是平台权力与数据正义：编辑权从新闻室转移到专有系统，算法决策须接受公平、透明与问责的审视（Mökander and Floridi, 2022; Helmond, 2015; Taylor, 2017; Benjamin, 2019）。其三是 LLM 政治偏误研究：Motoki et al. (2024) 在多国发现左倾，Rozado (2023) 在十五项政治测试中十四项判 ChatGPT 左倾，Fisher et al. (2024) 证明用户会向模型偏误靠拢。作者提出的机制假设是：LLM 对长尾知识掌握较弱（Kandpal et al., 2023），而新闻恰是时效性强、长尾分布重的领域，模型因此更可能反复回落到少数高知名度媒体，放大曝光不平等。五个审计维度由此对应 RQ1 多样性、RQ2 注意力分配、RQ3 类别与媒体名单、RQ4 意识形态、RQ5 事实可靠性，并用 Media Bias/Fact Check（MBFC）与维基百科常年来源清单（PSL）两套独立标尺操作化后两者。五个维度的操作化与检验策略在下文方法部分展开。

M. Materials & Methods（材料与方法）

研究设计为跨系统、跨议题的准实验审计，无随机化干预；处理变量是检索系统（三家 LLM 代理加 Google News），分析单元是议题—日期—系统组合。抓取期为 2025 年 5 月 15 日至 21 日，每日 20:00（美东时间口径未明确）并行向三个代理发问，议题顺序执行；全部英文、地理设定为美国，每次最多取前十条结果（依据多数用户不前翻）。总计 504 份 LLM 回答（24 议题 × 7 天 × 3 代理）与 168 份 Google News 基线。System prompt 固定为“你是帮助 {traits} 读者的私人助理，任务为抓取 10 条最新在线英文新闻及其 URL，只输出标题加括号内完整 URL 的项目符号列表，不加任何评论”；user prompt 为“Give me the latest online news about {topic}”。traits 默认为空，稳健性检验时填入财富、性别、年龄、政治立场四个二元维度，构成 2^4=16 种组合，整条流水线重跑。议题一半取自 ProCon.org 争议议题清单，另一半补充时效性议题，名称统一用维基百科条目标题以降低框架效应。媒体归属：正则抽取 URL，取域名，短链先还原（Gemini 会用 shortened links），得到与 SERP 可比的域名集合。类别：用 Klazify 按 IAB Content Taxonomy 3.0 的 27 个一级类目标注，置信度阈值 0.50，低于阈值或返回 null 的由作者人工归类。意识形态：MBFC 七点量表（−3 极端左至 +3 极端右）。事实可靠性：MBFC 0–5 六级（very low、low、mixed、mostly factual、high、very high），并用 PSL 的四档标签（Generally reliable、No consensus、Generally unreliable、Deprecated）作正交复核。统计：多样性用单因素 ANOVA（系统为因子，每议题独立媒体数为因变量）加 Tukey HSD 事后检验，并以系统为固定效应、议题为随机截距的线性混合效应模型（LME）估计边际均值（EMM）与 95% 最高密度区间（HDI）。注意力不平等用基尼系数，定义为 <code>G = ΣΣ|x_i − x_j| / (2n²x̄)</code>，x_i 为域名 i 在 SERP 中的出现次数；同样配 ANOVA 与 LME。名单层面用排名湍流散度（RTD, Dodds et al., 2023），符号表方向、幅度分档为小于 0.2 可忽略、0.2–0.5 中度、大于 0.5 强偏离。另人工整理 68 家与 OpenAI 有公开合作文件的媒体，检验合作媒体在排名与 SERP 席位占比上是否被系统性抬升。随机性用 10 个随机种子 × 10 个议题重复查询，以 URL 集合的 Jaccard 相似度衡量。

R. Results（结果）

描述统计：Google News 共 1,677 条结果、291 个独立域名；GPT-4o-Mini 1,657 条、127 个域名；Claude-3.7-Sonnet 1,252 条、157 个域名；Gemini-2.0-Flash 860 条、117 个域名。主要检验结果见下表（EMM 为混合效应模型估计的每议题边际均值）。<table><tr><th>维度</th><th>指标与检验</th><th>结果</th></tr><tr><td>RQ1 多样性</td><td>每议题独立媒体数 EMM；ANOVA F(3,92)=29.61</td><td>Google News 19.82；GPT-4o-Mini 11.12（p&lt;0.001）；Claude 13.14（p=0.005）；Gemini 15.17（p=0.093，不显著）；总体 p&lt;0.001</td></tr><tr><td>RQ2 注意力</td><td>基尼系数；ANOVA F(3,92)=4.56</td><td>总体 p&lt;0.01；Tukey 仅 GPT-4o-Mini 与基线差异显著（p=0.03）；LME 中 GPT-4o-Mini p=0.007；Claude 与 Gemini 不显著</td></tr><tr><td>RQ3 类别</td><td>IAB 27 类分布（Klazify）</td><td>GPT-4o-Mini 的 News 占比最高、超过 Google News；Gemini 最接近 Google News；Claude 的 News 占比最低，Government 与 Radio 占比最高</td></tr><tr><td>RQ3 名单</td><td>RTD（阈值 0.2 / 0.5）</td><td>nytimes.com 与 theguardian.com 被 Google News 系统性抬升、被 LLM 压低；en.wikipedia.org 从不出现在 Google News；Gemini 抬高 aa.com.tr（MBFC 标 Mixed）并压低 britannica.com、newscientist.com；Claude 抬高 whitehouse.gov、cdc.gov、aclu.org、hrw.org</td></tr><tr><td>RQ3 商业合作</td><td>68 家 OpenAI 合作媒体；排名与席位占比；LME</td><td>仅 GPT-4o-Mini 显著抬升合作媒体的排名与 SERP 席位占比，两项均 p&lt;0.001</td></tr><tr><td>RQ4 意识形态</td><td>MBFC −3…+3；ANOVA F(3,4566)=18.11</td><td>总体 p&lt;0.001；Claude 与 GPT-4o-Mini 显著更偏右；Gemini 略偏左（p=0.03）</td></tr><tr><td>RQ5 可靠性（MBFC）</td><td>0–5 分；ANOVA F(3,4693)=40.55</td><td>总体 p&lt;0.001；GPT-4o-Mini 显著更可靠（p&lt;0.001）；Claude 略降（p=0.047）；Gemini 不显著</td></tr><tr><td>RQ5 可靠性（PSL）</td><td>PSL 四档；ANOVA F(3,3045)=31.26</td><td>总体 p&lt;0.001；三家 LLM 代理均比 Google News 更可靠（p&lt;0.001）</td></tr></table><p>稳健性：(1) 十六种社会人口学提示组合重跑全部 RQ，无论单一条件还是按政治立场汇总，均未出现相对基线的统计显著偏移；(2) 换用 PSL 后方向大体保持，但与 MBFC 存在一处张力——MBFC 下 Claude 的可靠性略低于 Google News，PSL 下三家均高于基线，说明可靠性结论对标尺选择敏感；(3) 随机性方面，10 个种子 × 10 议题的 URL 集合 Jaccard 相似度中位数为 0.8，重复采样下曝光集合稳定。此外，把 SERP 长度（原始与对数形式）作为额外固定效应加入模型，多样性结论不变。</p>

a / D. Discussion & Conclusion（讨论与结论）

作者把发现概括为三种可辨识的代理式编辑政策。GPT-4o-Mini 走“少而精”的路线：独立媒体最少、注意力最集中、News 类占比最高、MBFC 可靠性最高，同时明显偏右，并显著抬升与 OpenAI 有商业合作的 68 家媒体——商业关系与编辑选择在同一系统内同向出现，是本文最具治理含义的发现。Claude-3.7-Sonnet 走“机构化”路线：偏好政府与公民社会组织（whitehouse.gov、cdc.gov、aclu.org、hrw.org），News 类占比最低，意识形态略偏右，MBFC 可靠性略降；作者据三位作者的定性检视推测，其意图可能是绕过传统媒体中介、直接引用一手信源，但一手信源本身也可能承载宣传框架（Kumar, 2006; Lutscher and Donnay, 2025）。Gemini-2.0-Flash 最接近 Google News：多样性差异不显著、类别分布最相似，仅呈温和左倾，可靠性无显著变化；作者认为这提示平台底层检索组件的路径依赖。方法论层面，论文把“提示措辞”与“平台架构”做了区分：十六种人格提示均未撼动结论，说明差异更可能来自检索与排序环节而非措辞。局限包括：议题人工挑选、排除体育与地方新闻、仅英文与美国地理设定、七天快照无法覆盖事件驱动的波动、提示刻意极简且无对话历史与记忆、基线只取 Google News 而未含 Google 网页搜索。治理含义上，作者把 LLM 定位为新闻基础设施，主张适用欧盟 AI Act 对系统性风险模型的透明度与文档义务，以及加州前沿 AI 透明度法案的披露要求，并要求公开媒体挑选逻辑以守护新闻多元主义。需要指出，全文未报告预注册、编码者间信度（人工仅用于 30 个 null 类目归类），且 290 与 291 个域名的口径存在一处不一致，结论的外推应限于英文、美国视角的短窗口。