🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
过去几年，聊天机器人成了很多人打听公共事务的新渠道。遇到一条新政策、一次总统行动，不少人会直接问它“这事是好是坏”。这样做有两个好处：一是判断经过了模型的过滤，掺进来的个人情绪和即时政治刺激比较少；二是它算得快，能同时考虑很多因素和后果。可问题也在这儿——如果同一个问题今天问和明天问、用这家问和用那家问，答案差得很远，那这种“顾问”就没什么用。过去的研究大多只测模型自己偏左还是偏右，或者用问卷问它持什么立场，却很少有人在普通人真实使用的聊天窗口里，连续很多天追问同一批政策，看它的判断稳不稳。这篇论文补的就是这个缺口：它不关心哪家模型更聪明，只关心一个普通人拿到的答案靠不靠得住。
② 研究问题（要回答什么？）
这篇论文想弄清楚四件事。第一，换一个聊天机器人，对同一条政策的判断会不会变。第二，隔一天、隔一周再问，判断会不会慢慢漂走。第三，同一天里连问两次，答案本身有多大的随机抖动。第四，评判已经发生的真实决策，和评判还没发生的假设性改革，稳定性是不是一样。作者特别强调，他测的不是实验室里固定版本的模型，而是普通人打开网页就能用的那个聊天窗口。背后的模型版本、系统提示、联网搜索和路由，用户既看不见也管不了。所以问题不是“哪个模型更准”，而是“一个普通用户得到的判断，经不经得起重复”。如果答案只在一个特定产品、特定一天成立，那它就很难被当成公共决策的依据。
③ 研究方法（怎么做的？）
作者的做法像给五位考官安排了一场持续一个月的统一考试。他选了五种聊天机器人配置，来自三家不同的公司，其中同一家公司的两种“用力程度”也算两种配置。从九月十三日到十月十二日，整整三十天，每天让每个配置答两遍同样的题。题目分两套：四十项真实发生过的美国总统行动，从奥巴马时期一直到特朗普第二任期；另有十五项设想中的美国改革，比如扩大众议院、改革学前教育、给灾难风险上保险。每答一项，要给出一个分数、一个信心值，再加一句不超过一百字的理由。真实行动的分数从负五到正五，正负号表示方向，大小表示影响有多重。假设改革的分数只从一到五，因为出题时已经假定它们是有益的。每天出题顺序都会打乱，但同一天的两遍用同一个顺序，这样两遍之间的差别就只剩机器本身的随机性。一个月下来，一共收集到一万六千五百条判断。
④ 结果（发现了什么？）
结果比作者预想的稳。五个配置对四届政府的平均分方向完全一致：奥巴马和拜登为正，两届特朗普为负；排名也完全一致。平均下来，奥巴马是正二点六五，拜登是正二点零四，特朗普第一任是负零点六七，第二任是负二点九五，五个配置的分数区间彼此不重叠。同一天里，两个不同的机器人对同一条行动给出相反符号的情况只占百分之四点三；同一个机器人连问两遍，符号相反的比例更低。九成四的行动评分落在该项目中位数的一分之内，改革的这一比例是九成七。不过，隔天再问的差别确实比同一天两遍的差别大，之后一个月里缓慢扩大。最值得警惕的是三次“换芯”：某家机器人在六天里自称的知识截止日期突然变成八月，回答也跟着变；另一家在中旬改版，评论一下子长了三四倍；还有一家在新版本发布前一周，两个档位同时变得异常中立。这些变化在界面上几乎看不出来。
⑤ 讨论（这些发现说明什么？）
作者认为，这三次变化说明了普通用户面临的主要风险：一个聊天机器人名字没变，背后服务却可能悄悄换了，判断会连着好几天甚至从此变样，而界面只显示一个小小的选项改名。对公共管理来说，这意味着把人工智能当成政策参谋时，不能只看一次回答，也不能只信一个产品。更麻烦的是，这种变化往往只能从大量重复提问里事后发现，单次使用的人根本察觉不到。另一方面，作者也提醒，稳不等于对。几个模型可能因为训练数据相似而一起犯同样的错，而政策判断本来就没有标准答案可以对表。所以这项研究测的是“可重复性”，不是“正确性”。他还发现，机器人给出的理由相当具体，换一个模型也能对上号，说明它们并不是随口敷衍，而是围绕每条政策的关键事实在组织说明。
⑥ 结论（最终结论 + 启示）
一句话总结：聊天机器人对政策的判断，在换模型、换日子这两件事上比想象中稳，但服务方悄悄换版本会让它突然变味。实际启示有三条。第一，重要的政策判断最好多问几个不同的聊天机器人，再看它们是否一致。第二，不要只问一次，隔几天再问一遍，能发现漂移。第三，机构如果要把这类判断写进决策流程，应当记录提问日期和产品版本，并保留多次回答，以便事后审计。作者把一万六千五百条判断全部公开，希望别人能接着分析单条政策的评分，以及这些判断为什么会随时间和产品而变化。对普通人来说，最实用的提醒是：把它当成一个可以交叉核对的参考意见，而不是一锤定音的权威。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
聊天机器人正成为公众获取公共事务信息的重要入口（Reuters Institute, 2026; Bruinsma et al., 2026），并被证明可帮助人们在政治审议中找到共识（Tessler et al., 2024; Peters et al., 2026）。作者提出用 AI 评判人类高层决策的两个理由：其一，判断经由模型及其积累的人类知识中介，较少受即时政治刺激与特定个体或小群体情绪的驱动；其二，判断快速，且能同时覆盖多因素与多后果。但这类判断只有在稳健时才有用，因此需要经验性地、哪怕粗糙地估计其稳健程度。
既有文献留下三处空白。第一，LLM 政治倾向研究多以问卷或强制选择题测量模型自身立场，普遍发现偏左（Santurkar et al., 2023; Rozado, 2024），但“应对齐哪个群体”本身没有标准答案，且强制选择下得到的立场在允许自由作答时会改变（Röttger et al., 2024），抽象立场也不能预测模型在具体公投上的选择（Barmettler, 2026）。第二，时间维度研究显示模型行为会随版本更替突变（Chen et al., 2024），在 2024 年美国选举季同时出现渐变与阶跃（Cen et al., 2025），36 周内政治回答小幅右移并伴随更多对冲措辞（Nogueira et al., 2026）。第三，LLM-as-judge 文献记录了位置、冗长与自我增强偏见（Zheng et al., 2023），但其评判对象是有参考答案的文本质量，而非无参照的政策后果。
本文的贡献是：在普通消费者的聊天界面中，对 5 种配置、40 项真实总统行动与 15 项假设性改革做 30 天、每日两轮的重复测量，公开 16,500 条判断；给出同日噪声、日间漂移与跨模型差异的可比度量；识别出实验期内三次服务端变更；并用检索指标评估解释性评论的一致性。其立场是：在无参照答案的政策判断上，稳健性是可测量的一阶属性，正确性则不可直接检验。
I. Theoretical Framework & Hypotheses（理论框架与假设）
本文不设统计假设，而以四个研究问题组织，理论关切落在“AI 建议在公共管理中的可问责性”上。当建议来自一个用户无法检视版本、系统提示、工具与检索的封装系统时，稳健性构成最低限度的质量控制标准；否则，同一名义产品在两次使用之间可能给出系统性不同的政策意见，而责任无从追溯。表 1 给出研究问题与文献关切的对应。
| 编号 | 研究问题 | 对应文献与理论关切 |
|---|---|---|
| RQ1 | 判断对聊天机器人选择是否稳健 | LLM 政治立场测量与仪器依赖（Santurkar 2023; Rozado 2024; Barmettler 2026） |
| RQ2 | 判断对逐日漂移是否稳健 | 模型行为随发布时间变化（Chen 2024; Cen 2025; Nogueira 2026; Aksoy 2026） |
| RQ3 | 同一天内的随机性有多大 | 非确定性输出与接口不可控（Atıl 2025; Makhortykh 2024） |
| RQ4 | 已实施决策与假设性改革是否不同 | LLM-as-judge 偏见（Zheng 2023）与反事实政策评估 |
在规范层面，作者实际上采取了一条介于技术官僚式信赖与民主问责式怀疑之间的中间立场。技术官僚式信赖强调效率与多因素覆盖，容易把单次高质量回答误当作稳定能力；民主问责式怀疑强调不可解释与不可追责，容易一概拒斥。本文主张先把“可重复性”作为准入门槛：不要求 AI 判断与某个正确答案一致，而要求它在换产品、换日期、换采样时保持方向与排序；只有通过这一关，才谈得上进入政策议程设置、官员简报或公民咨询。作者同时明确，稳健不等于有效：模型可能在相似语料上训练而共享同一套错误，因而一致性与稳定性只能排除一部分失败模式，不能证明判断正确。
M. Materials & Methods（材料与方法）
- 设计：重复测量审计（repeated-measures audit），非随机对照实验。5 种聊天机器人配置 × 每日 2 轮 × 30 天 × 55 个项目，形成平衡面板；同一天两轮共享同一随机顺序，用于分离同日采样噪声。
- 配置：Mistral Vibe Think 模式（M）、Gemini Flash 3.6（F）、Claude Sonnet 5 effort High（S）、Claude Opus 5 effort High（Oh）、Claude Opus 5 effort Max（Om）。均通过消费者聊天界面访问，每轮开新临时会话，拒绝作答或格式错误则换新会话重跑。
- 刺激材料：40 项美国总统行动（奥巴马、拜登、特朗普第一任、特朗普第二任），由 Claude Opus 5 协助选出“最具后果”的行动，最晚一项为 2026 年 1 月，距实验开始半年以上；15 项假设性改革（I01–I15），其中 6 项改政治制度与国家能力、8 项为经济社会政策、1 项为灾难风险保险。作者承认选材由被测模型之一协助，存在循环性。
- 测量：行动评分取整数 −5 至 +5，符号为方向，绝对值按生命数、国民收入份额与核心制度变化锚定；信心 1–5；评论不超过 100 字符。改革评分为 1–5 的 magnitude（无符号），另记 dimension（lives/income/institutional）、irreversibility 1–5、contestedness 1–5、信心与评论。两套提示均要求只评美国、按固定单行格式输出。
- 样本量：行动 12,000 条（30×5×2×40），改革 4,500 条（30×5×2×15），合计 16,500 条；公开于 Hugging Face。
- 跨模型差异：
D(M₁,M₂) = 1/(4·|X|·|T|) · Σ_{x,t,i,j} |v_M₁(x,t,i) − v_M₂(x,t,j)|，仅比较同日回答；模型自身噪声为N(M) = 1/(2·|X|·|T|) · Σ_{x,t,i≠j} |v_M(x,t,i) − v_M(x,t,j)|。 - 纵向漂移：
Drift(M,d) = 1/(4·|T_d|) · Σ_{t,i,j} |v_M(x,t+d,i) − v_M(x,t,j)|，|T_d| = 30 − d，取 d = 0…25；d = 0 时只比较同日两轮。 - 服务变更识别：先看逐日字段均值的时间序列，再把断点与可外部核实的事件对齐（模型自报知识截止日、界面发布说明、新版本发布日）；对 Opus 5 为避免数据驱动切分，p 值按 9 月 22 日发布日做前/后切分重算。
- 评论一致性：把评论当检索任务，查询模型 M₁ 某项目的 30 条评论集合，排序模型 M₂ 同一轮全部 30|X| 条评论，统计 MAP、R-precision、MAP@K、nDCG@K、nDCG、AUC、MRR；相似度用 Jensen–Shannon 词分布
S_JS(c,C) = 1 − JS(p(c), (1/|C|)·Σ p(c′))与三种嵌入模型（jina-embeddings-v5-text-small、harrier-oss-v1-270m、granite-embedding-97m-multilingual-r2）的余弦S_e(c,C) = cos(e(c), (1/|C|)·Σ e(c′))。 - 稳健性检验：四种相似度之间、七种排序指标之间的 Spearman 相关；跨指标符号一致性；对角线作为同模型跨轮基线。
R. Results（结果）
- 行政当局聚合：五配置对四届政府的平均分符号与排序完全一致，区间互不重叠（表 2）。
- 项目层面：94% 的行动评分、97% 的改革评分落在该项目中位数 ±1 内；行动评分符号与中位数一致的比例为 95%。分歧最大的是重塑联邦司法（I20，评分横跨 −5 至 +5）与扩大假释与庇护（I35：54% 为正、29% 为负、17% 为零）。
- 同日噪声与跨模型差异：同一模型同日两轮的分数差为 0.27–0.39（Claude 三档与 Gemini），Mistral 为 0.55；不同模型间为 0.67–0.88，唯一例外是两个 Opus 档位仅差 0.38，与其自身噪声相当。改革量表上，对角线 0.21–0.43，非对角线 0.41–0.86。
- 符号冲突：同日两个不同模型对同一行动给出相反符号的比例平均 4.3%（逐对 1.3%–7.3%），差超过 1 分的比例为 12%；同模型两轮相反符号的比例，Claude 三档 < 1%，Mistral 2.3%，Gemini 接近 4%。
- 纵向漂移：所有模型相邻两日（d = 1）的差异大于同日两轮，行动量表上多出 0.08–0.20 分；d = 1 至 d = 25 仅再增 0.06–0.14，改革更小或不再增长。25 天后，Gemini、Sonnet 与两个 Opus 档的漂移为 0.46–0.62，仍小于它们与其他模型同日的 0.67–0.88；Mistral 因系统切换升至约 1.0。四分之一行动在 25 天后漂移超过 0.6–0.7（Mistral 1.15）。
- 维度归属：4,500 条改革回答中仅 51 条（1.1%）选错主导维度——Mistral 22、Opus High 18、Gemini 5、Sonnet 4、Opus Max 2；偏离集中在 I11 幼儿期（记为 lives，17 次）、I06 国家能力（记为 income，14 次）、I15 灾难保险（记为 income，7 次）、I14 财政路径（记为 institutional，5 次）、I12 阅读与数学（记为 lives，5 次）。
- 评论一致性：同模型跨轮 MAP 0.92–0.95，跨模型 0.80–0.84（行动）与 0.74–0.80（改革），远高于随机基线 0.025 与 0.067；最弱配对 0.54–0.66，均涉及 Opus Max 与 Mistral 或 Gemini。四种相似度之间的 Spearman 为 0.84–0.98，三种嵌入之间为 0.93–0.98。
| 行政当局 | 五配置平均分 | 平均信心区间 | 排序 |
|---|---|---|---|
| 奥巴马 | +2.65 | 3.0–4.1 | 1 |
| 拜登 | +2.04 | — | 2 |
| 特朗普第一任 | −0.67 | — | 3 |
| 特朗普第二任 | −2.95 | 2.4–3.5 | 4 |
| 配置 | 时间窗 | 关键变化 | 统计证据 |
|---|---|---|---|
| Claude Sonnet 5 | 第 6–9、11–12 天（9 月 18–21、23–24 日） | 自报知识截止日变为 2026 年 8 月；评论变长约 16%（82.5 vs 71.0 字符）；改革分 3.41 vs 3.67；改革争议度 3.49 vs 3.78；行动零分占比 4.6% vs 2.1% | 评论长度与争议度 p < 0.0001；改革分 p = 0.0004；零分占比 p = 0.0203 |
| Mistral Vibe | 第 15 天（9 月 27 日）起 | 界面迁移；评论长度 30.8→89.5（行动）、22.6→86.5（改革）；行动分 3.20→2.50；行动信心 4.05→2.92；改革分 3.80→3.16；两轮差 0.66→0.46；与其他模型距离 0.85→0.51 | 八项全部变化，五项两期完全不重叠；两轮差 p = 0.0031，其余 p < 0.0001 |
| Claude Opus 5 High/Max | 第 3、4、6、7、9 天（9 月 15–21 日中的五天） | 评分趋零：High 行动分 2.04→2.80、零分 8.0%→0.3%、对冲措辞 12.5%→6.2%；Max 行动分 1.97→2.89、零分 14.3%→2.5%；两档日均可分相关 0.93 | 12 项中 11 项在 5% 水平显著（按 9 月 22 日发布日切分） |
a / D. Discussion & Conclusion（讨论与结论）
- 理论意义：把“稳健性”确立为无参照政策判断的可测量属性，为 AI 建议进入公共管理提供可操作的质量门槛；同时说明跨模型一致不等于正确，训练数据同源会导致相关误差。
- 静默换版风险：三次变更中有两次几乎未在界面留下痕迹（Sonnet 仅自报截止日变化，Opus 5 完全只在判断上可见），构成一种“算法漂移”，其识别依赖重复测量而非单次使用。
- 实践启示：重要判断应以多产品、多日期交叉核对；机构应记录提问日期、产品版本与多轮回答以备审计；采购与评估不能只做一次性基准测试。
- 局限：(1) 30 天窗口相对政策时标过短；(2) 仅 5 种配置、3 家厂商，其中 3 种来自 Anthropic；(3) 单一英文提示，未检验措辞、格式与语言效应，也未随机化是否标注行政当局；(4) 同日两轮共享顺序，无法把顺序效应与日期效应完全分离；(5) 项目由被测模型 Claude Opus 5 协助选择，存在循环性；(6) 无参考答案，稳健性不能推出正确性；(7) 接口不提供版本、系统提示与工具记录，更小的变更可能未被发现；(8) 未深入分析单条政策；(9) 50 年视界本身是一种折中猜测，未做贴现处理。
- 结论：聊天机器人对真实政策与假设改革的判断在换模型、换日期上表现稳健，但服务端可在用户不知情时改变判断；因此可信使用的前提是多源、多时点复核与可追溯记录。
🧠 IRMaD 思维导图
mindmap
root((聊天机器人政策判断稳健性))
I 引言
公共事务咨询日常化
AI判断的两个理由
稳健才谈得上有用
无参照答案难验正确
R 问题
RQ1 换机器人变不变
RQ2 隔天是否漂移
RQ3 同日抖动多大
RQ4 真实与假设之别
M 方法
五种配置三家厂商
三十天每日两轮
四十行动十五改革
分数信心与短评
同日差与漂移公式
检索指标评评论
R 结果
行政均值排序一致
相反符号仅百分之四
九成四落在中位一分内
满月漂移小于换模型
三次服务端换芯
评论跨模型可检索
a 讨论
换芯界面几乎无痕
稳不等于对
多模型多日复核
单一提示单语局限
D 结论
公开一万六千五百条
判断可作粗筛参考
记录版本与日期
建议纳入审计流程
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。