🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
政府部门现在越来越多地让人工智能替自己读材料、下判断。欧盟委员会在内部报告里说，他们用人工智能去找支撑决策的科学证据；英国政府也公开介绍了一个正在开发的工具，能把公众咨询的答复自动归纳成主题，做成看板给政策制定者看。
这类输出不直接决定谁有资格领钱，却会影响决策者看到什么。系统把哪些内容归到一起、把哪些问题标得显眼，都会改变后面讨论的起点。所以就算最后签字的是人，也还有一个更靠前的问题没解决：凭什么相信机器给出的那份说法。
要回答这个问题，光做技术测试不够。测试能说明输出会怎么变，却说不出多大的变化可以接受、谁来担这个判断的责任、别人又怎么去质疑。治理文件可以规定责任，但文件存在不等于输出可靠，也不等于检查真的管用。文章把注意力放在三件事上：同样的设置重复跑会不会变，结果对不对得上人工编码，以及由此得出的结论还站不站得住。
② 研究问题（要回答什么？）
文章提出四个问题。第一，重复运行和合理的配置选择，会让单条分类的稳定性和正确性发生什么变化。第二，这些差别会怎样改变据以形成的实质判断、报告出来的准确率，以及需要多少人去复核。第三，英国和欧盟的要求分别让机构去确立什么，检查和标准又写到了什么程度。第四，这些要求把定标准、做检查、提供支持、实施监督和处置结果的责任分给了谁。
研究分两步走。先做分类实验，看机器输出本身有多不稳；再拿实验发现的问题去读政策文件，看现行要求有没有覆盖这些环节。作者强调这两步不是并列的，实验先告诉研究者该去文件里找什么，再回头判断这些要求是补上了缺口，还是把选择留给了机构。
③ 研究方法（怎么做的？）
研究用一个现成的人工编码数据集当参照。英国比较议程项目把一九九七到二〇〇八年的九千零六十一条首相质询分成了二十一个政策主题，每条都有人工标注。因为各主题数量悬殊，作者按固定随机种子分层抽样，抽出一千二百条：十九个大主题各取六十条，外贸取四十五条，文化只有十五条，全部纳入。
接着让同一个大模型用八种不同设置去分类。八种设置的差别包括：只给类别描述还是加编码规则、要不要先推理再给答案、提示里加不加历史时期或提问者党派、输出用固定格式还是自由文本。这些设置都被认为在实际工作里说得通。另外把基准设置原封不动重跑了五遍，一共六千次调用。比较的指标是与人脑标注的一致率，以及不同设置之间的一致性；显著性用配对检验，并对二十八次比较做了多重比较校正。
文件部分分析了三十七份英国和欧盟的治理文件，按决策、交付、协调、问责四个功能，每个再分制度设计与资源，共八个格子编码，先得到三百九十五个子主题，再合并成三十七个主题。
④ 结果（发现了什么？）
同一套设置原样重跑，结果并不一样。任意两遍之间平均有百分之二点七八的标签对不上，把温度设成零也没让流水线变得确定。
八种设置的准确率都在百分之六十八点二到七十点三之间，基准是六十九点六，差异经校正后都不显著。但准确率接近不等于答案一样：一千一百九十九条完整案例里，有二百九十一条、也就是百分之二十四点三，在不同设置下拿到不同标签；还有一百九十一个问题，八种设置给出同一个标签，却全都和人脑标注不同。机器之间的一致，不能当作它们正确的证据。
只保留八种设置都同意的问题，剩九百零八条，基准准确率从六十九点六升到七十九，涨了九点三个百分点，而一个标签都没改，只是挑出了表现更好的子集。
模拟把低分输出送人工复核时，同样的规则也给出很不一样的负担：被标比例从百分之零点九到百分之四十一，基准设置标出三成六，未标输出的准确率是八成三点六。
最后看结论层面。六十条公共土地问题共被贴了四百八十个标签，四百四十个与人脑标注不同；全期加权后五个高频主题没变，但政府运作与国际事务的占比浮动，三种设置下两者名次互换，五遍原样重跑里一次都没出现。文件方面，英欧都要求测试与人工复核，但指标、阈值和报告方式主要留给机构自己定。
⑤ 讨论（这些发现说明什么？）
文章认为，风险不在答案本身，而在它悄悄改变了人们注意什么。分类不会改动原话，却决定这句话被记到哪个主题下；一条同时涉及住房、治安和福利的质询，只能落进一个格子，换个设置就可能落到另一个格子，于是某些议题显得更大，另一些显得更小。这种变化在探索阶段也许无伤大雅，一旦输出被用来评估服务、分配资源或排定政策优先级，就必须看得见、说得清。
所以作者主张，允许机构自行选择指标和阈值是可以的，但选择本身要拿出证据。具体包括：报告原样重跑的波动、合理配置之间的差异、机器共同犯的错、评估时剔除了哪些样本，以及剔除之后结论是否还成立；如果靠分数决定谁进人工复核，还要说明分数是怎么抽出来的、这条规则实际筛掉了什么。
文章还提出一份简短的保证记录：写清用途和误差为何要紧、测的是哪个模型版本和配置、评估覆盖哪些人又排除了哪些人、总体结果与单条标签的变化、共同错误和结论变化、复核规则与责任人，没测过的性质要明说。作者强调这只是供审查用的提议，并没有检验它实际有没有效果。
⑥ 结论（最终结论 + 启示）
这项研究把可靠与否拆成了两半：一半靠测，一半靠制度。测的部分是说，稳定性、与人脑参照的一致、结论的稳健，都得单独查，不能从一个总体准确率推出来；制度的部分是说，哪些性质要紧、多大波动可以接受、谁来评估、别人怎么质疑，这些都得有人负责。
对公共管理者来说，最实际的提醒是：采购或使用这类工具时，不能只要一个准确率数字，而要问清楚配置怎么选、样本怎么筛、复核怎么触发。对监管部门来说，现有要求已经提到测试和监督，但没要求报告这些选择带来的影响，这正是可以补的地方。
研究也有明显局限。它只覆盖一个任务、一个模型家族和少量配置；人脑标注本身也是判断，可能出错；八种配置来自同一个模型，彼此一致不算独立证据；重跑是在五个月后用未锁定版本的别名做的，无法把配置效应和时间变化分开；文件部分只谈正式要求，不含成员国指引，也没有编码者间信度，更无法说明实际执行情况。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
公共机构正把人工智能嵌入证据生产环节。欧盟委员会 AI@EC 通信用人工智能检索支撑决策的科学证据，并列出分析与起草支持的扩展空间；英国 Consult 透明度记录则描述了一个从咨询答复中抽取主题、以看板呈现给政策制定者的在研工具。这类输出通常不决定个人权利，却塑造决策者所见的图景：系统纳入什么、如何归类、突出何种模式，都会改变后续讨论的信息基础。
由此产生一个先于“人在环中”的问题：凭什么依赖系统给出的那份陈述。技术测试能刻画输出行为，却不能判定某一用途下多大变异可接受、由谁承担该判断、如何被质疑；治理要求能分配责任，却不能证明输出可靠或检查有效。本文因此聚焦三项相互关联但彼此独立的性质：跨重复运行与合理配置的稳定性、相对人工参照的正确性、以及由输出所得结论的稳健性。
贡献有三。其一，同一模型的八种配置准确率相近，却对约四分之一问题给出不同标签，并展示按一致性问题过滤如何抬高报告准确率、分数抽取程序如何改变送审比例。其二，英欧要求都期待测试与监督，却把指标、阈值与实施选择留给供应商和公共机构。其三，论证对评估的自由裁量需要说明理由，因为配置、过滤与复核规则会改变评估看似确立的东西。
I. Theoretical Framework & Hypotheses（理论框架与假设）
文献沿三条线索展开。第一，大模型评估的不稳定性。Mizrahi 等（2024）发现指令模板造成显著性能波动，主张多提示评估；Barrie 等（2026）借用标注研究的一致性度量构建提示稳定性评分；Yorke（2026）考察 LLM-as-judge 的重复运行变异。第二，预测多重性。Marx 等（2020）证明性能相近的分类器可对个案给出冲突预测，D’Amour 等（2022）显示测试表现相近的预测器在部署中行为不同。本文将多重性从模型选择推进到操作配置，并追踪至报告结果、实质结论与复核路由。第三，置信度与人工监督。Green（2022）指出人类监督政策常建立在未经检验的审查者能力假设上；Xiong 等（2024）区分置信度生成与其对校准或失败预测的用处；Kim 与 Kang（2026）表明测量协议会改变置信度比较；Sun 等（2026）区分排序能力与选择性预测可用的阈值范围。
理论框架有二。其一是测量理论：Jacobs 与 Wallach（2021）强调测量依赖须明示并检验的假设，区分信度（相似输入与条件下的稳定性）与效度（是否测到所要测的东西）。本文中稳定性指跨运行与跨配置的一致，正确性指与 CAP 人工编码的一致；二者单独都不足以确立预期用途的效度。其二是管理型监管（Coglianese & Lazer, 2003; Coglianese & Mendelson, 2010）：要求组织建立控制、同时保留操作细节，任务特定知识可为授权提供理由，裁量本身不等于失败；Coglianese 与 Crum（2025）进一步主张多功能人工智能宜由开发者与使用者主动管理，并配套监管能力与持续审查。该视角引导分析谁定标准、谁做检查、谁提供能力、谁审查理由、谁对结果采取行动。
M. Materials & Methods（材料与方法）
设计与语料。顺序混合设计：分类实验回答 RQ1–RQ2，文件分析回答 RQ3–RQ4。语料为英国比较议程项目（CAP）去重后的 9,061 条首相质询，覆盖 1997–2008 年 21 个政策主题，CAP 编码的是议员提问而非首相答复。主题严重不平衡：Government Operations 占 17.4%，Culture、Foreign Trade、Technology 均低于 1%。故按固定种子分层抽样 1,200 条：19 个足够大的主题各 60 条、Foreign Trade 45 条、Culture 全部 15 条；每条按“该主题在全库占比 ÷ 该主题在样本占比”加权，以校正分层设计。
配置。锚点为 GPT-4o、完整类别描述、显式编码规则、六个少样本示例、要求 JSON 输出、温度零解码，不提供历史时期与提问者党派信息；选择理由是稳妥默认而非试点最高分。分析使用保留了标签与抽取分数的八种配置（锚点、仅描述、无示例、先推理后标签、思维链、时期范围、发言者范围、自由文本）。原始逐次调用输出因云环境删除而丢失，八种配置的解析标签与分数留存；一条自由文本缺失，跨配置分组与一致性过滤使用 1,199 条完整案例。锚点于 2026 年 9 月 1 日以相同提示、模型标识、题目顺序与解码设置原样重跑五次，6,000 次调用全部解析成功；使用供应商别名而非带日期快照。
测量。与人脑标签比较得正确性，配置间比较得稳定性；五次重跑的成对平均分歧作为运行间基线。配对准确率用精确 McNemar 检验，对 28 次比较作 Holm 与 Benjamini–Hochberg 校正；另报告误差去向与加权全期主题份额。一致性过滤只保留八种配置标签全同的问题，从同一 1,199 条起算。抽取分数为选定 token 位置上有效 CAP 代码中的最高概率，未必是最终标签的概率，也不是经校准的正确概率；低于 0.99 者被假设性送审，审查者决策与实际复审后准确率均未观测。
文件分析。语料来自既有英国 AI 治理语料与英欧官方网站，共 37 个文件单元（英国 19、欧盟 18），以 2026 年 10 月 26 日判定时效、10 月 31 日固定样本，6 个未决候选暂缓。入选须由政府部门、公共机构、监管者、审计署或欧盟机构发布，涉公共服务中的 AI，截止日视为现行，并载有记录、披露或输出检查要求；仅收要求（含非立法指引），不含已完成的评估与部署报告。编码框架为决策、交付、协调、问责四功能 × 设计与资源两维，共八格，编码单元为载有要求的段落，记录要求持有者、政府层级、是否法定、义务强度与未满足后果。编码借助 AI 辅助，作者逐条核对源文件，未报告编码者间信度；先英欧分开后比较，得 395 个子主题并合并为 37 个主题。
R. Results（结果）
实验：稳定性。五次原样重跑中，成对运行平均 2.78% 标签不一致，65 个问题（5.42%）至少换标一次；温度零并未使流水线确定化。故以 2.78% 作为运行间变异基线。正确性。八种配置准确率 68.2%（自由文本）至 70.3%（提示历史时期），锚点 69.6%；28 次比较校正后无一显著。配置间差异却远大于重跑基线：各替代配置与锚点的不一致率为 5.0%–11.6%。1,199 条中 291 条（24.3%）在不同配置下标签不同，215 条（17.9%）在某些配置下对、另一些下错，191 条为八种配置一致却均与人脑编码相左——同模型家族的一致不构成独立正确性证据。
选择性报告与复核路由。仅保留八配置一致者后剩 908/1,199，锚点准确率由 69.6% 升至 79.0%（+9.3 个百分点），各配置提升 8.6–10.7 个百分点，而标签未变；被剔除样本改变主题构成（如 Public Lands 被剔除一半）。同一“分数低于 0.99 送审”规则下，锚点标出 36.0%，未标输出准确率 83.6%（全样本 69.6%）；思维链仅标出 0.9%，未标输出 68.7%（全样本 68.5%）；八配置送审比例 0.9%–41.0%。思维链分数几乎全接近 1，包括与人脑不符的标签；且推理先于答案时选中 token 可能位于最终分类之前，分数未必反映最终标签置信度。
结论层面。60 条 Public Lands 共 480 个标签，440 个与人脑不符；其中 42.7% 判为 International Affairs、28.2% 判为 Government Operations，使 Public Lands 显得更小、这两个主题显得更大。全期加权后政府运作占 13.2%–17.0%、国际事务占 12.6%–16.0%，三种配置下国际事务反超政府运作，五次原样重跑均未出现该反转；最常出现的五个主题不变。
| 发现 | 结果 |
|---|---|
| 同一设置给出不同答案 | 成对重跑平均 2.78% 标签不一致；5.42% 问题至少换标一次 |
| 相近准确率掩盖不同标签 | 准确率 68.2%–70.3%，24.3% 问题跨配置换标 |
| 一致不等于正确 | 191 条问题八配置一致却均有悖人脑编码 |
| 剔除争议题抬高准确率 | 锚点 69.6%→79.0%，标签未变 |
| 同一复核规则负担悬殊 | 同阈值送审比例 0.9%–41.0% |
| 总体图景不变细节位移 | 五个高频主题不变，三大配置下前二名互换 |
文件：交付。英欧均要求或建议使用前测试、变更后复测、高风险时人工复核，但参考、指标与合格线多留给供应商与部署机构：AI Act 第 9(8) 条要求高风险系统采用目的适配的预设指标与概率阈值；英国 AI Playbook（UK174）要求确定客观度量而不规定共同指标或阈值；测试框架（UK071）给出“抽样输出中逾 80% 经审查者判定可接受”的示例阈值。稳定性要求粗细不一：第 9(6) 条要求预期用途下性能一致，未在条款中规定重复运行一致性统计量；UK268 建议多次运行同一提示，UK071 建议检查相似提示的不一致或无法解释的输出，均未规定共同统计量或对每处分歧的具体处置。
决策、协调与问责。英国文件强调使用机构自身责任，欧盟则在供应商义务之外叠加部署者义务；AI Act 第 3(3) 条把以自身名义投入使用的公共机构也定义为供应商，故二者未必分属不同组织。英国透明度模板（UK087）允许部分现成模型留空型号规格，第 13、15(3) 条则要求使用说明申报准确率水平与指标。第 43(2) 条对相关附件三系统提供内部控制型合格评定（供应商自评），其他类别可涉指定机构或行业路径；系统合规与对具体公共用途的独立授权是两回事（如警务生物识别）。英国另有内部审批（含高级或伦理委员会）。资源方面英国提出监管者培训、指引与支持（UK174、UK139），AI Act 第 62、70(3) 条规定部署者培训与国家主管机构“充足”资源，但均未量化。问责方面英国有 DWP 违规纪律处分（UK190）与平等法诉讼（UK216），属特定义务违反之后果而非错误输出的自动处罚；欧盟由成员国对公共机构设定行政罚款（第 99(8)、100 条），并要求特定风险下暂停使用（第 26(5) 条），另有第 85 条投诉与范围有限的第 86 条解释权。
| 治理格 | 英国编码点 | 欧盟编码点 | 主题数 |
|---|---|---|---|
| 决策 设计 | 362（19 份） | 614（18 份） | 6 |
| 交付 设计 | 666（19 份） | 521（18 份） | 7 |
| 协调 设计 | 227（19 份） | 289（18 份） | 5 |
| 问责 设计 | 354（19 份） | 463（17 份） | 5 |
| 四类资源格合计 | 448 | 431 | 14 |
| 总计 | 2,057 | 2,318 | 37 |
整合。表 2 将五项检查与要求对照：重复运行、配置比较、一致性过滤、分数路由与结论稳健性。相关检查已被承认（英国明确提到重复提示与模型比较，AI Act 要求目的适配测试与一致性能），但未一致要求报告本文发现的个体标签变化、共同错误、选择性排除与主题份额/排序变化；一致性过滤这一选择效应在条款中未见专门处理。同阈值路由差异说明“人工复核不确定输出”还须回答“该程序是否识别出需要关注的输出”。
a / D. Discussion & Conclusion（讨论与结论）
本文把“可信”拆为可检验的性质与须有人负责的判断。实验表明，准确率几乎相同的配置会对约四分之一问题给出不同标签，评估选择会改变报告准确率、送审比例与对政治注意力的描述；文件分析表明英欧要求承认相关检查，却把指标、阈值与报告留给供应商和公共机构。其治理含义是：裁量可以保留，但须以证据说明理由——报告原样重跑与合理配置的变异、共同错误、评估排除项，并检验结论是否稳健；若置信度分数触发人工复核，抽取与路由程序本身也应受检。作者据此提出一份简短的保证记录（用途与误差为何要紧、模型版本与配置、评估总体与排除项、总体结果与个体标签变化、共同错误与结论变化、复核规则与责任人、未测性质），并明确其为供审查的提议而非经过效果检验的干预。
与既有研究相比，本文把多重性从模型选择推进到操作配置，并追踪至报告结果、实质结论与复核路由；对 Green（2022）的监督假设给出一个具体反例：哪些输出到达审查者本身取决于配置与分数抽取。Frohnapfel 等（2026）连接多重性与 AI Act 准确率条款，本文补充实验与英欧要求比较，指出何处已识别检查、何处仍留裁量。
局限：实验为探索性，仅一个任务、一个模型家族与少量配置；正确性以 CAP 人工编码为准，而编码本身是可能出错的判断；八配置同源，彼此一致非独立证据；原始调用丢失，仅八/十七配置留存；重跑在约五个月后以未锁定别名执行，无法分离配置效应与时间变化；抽取分数描述的是所实现的程序而非经验证最终答案置信度，审查者决策未观测；不能据此推断对真实公共服务决策或损害的影响。文件部分借助 AI 辅助编码、作者逐条核对但无编码者间信度，仅涉正式要求，不含成员国国家指引，也不证明实际合规、能力、执法或效果；英欧文件层级与范围不同，对比只部分反映两套法律体系差异。后续应在同一执行期以锁定版本比较配置与重跑、验证最终答案分数抽取、观察真实审查决策，并在公共机构内部考察输出差异是否改变呈报给决策者的证据。
🧠 IRMaD 思维导图
mindmap
root((人工智能证据可信吗))
I 引言
公共机构依赖机器证据
输出影响决策视野
人在环中不解问题
三项性质须分开查
R 问题
重跑与配置如何改变结果
差别如何影响结论与复核
英欧要求确立什么
责任分给了谁
M 方法
九千条质询分层抽样
同一模型八种配置
原样重跑五次
三十七份文件八格编码
R 结果
重跑分歧百分之二点七八
准确率近而标签差四分一
过滤后准确率虚高九点三
送审比例零点九到四成一
a 讨论
分类改变议题可见度
裁量须以证据说明
五项检查与保证记录
复核取决于谁被送到
D 结论
稳定性与正确性分开测
责任与能力须落实
单任务单模型局限
锁定版本再比较
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。