🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
给人工智能派活，最难的不是它干得对不对，而是我们怎么知道它还在按人交代的目标干活。任务链条一长，人能抽查的只是零星几个点，盯不过来。欧盟的人工智能法案要求高风险系统在使用中必须能被真人有效监督，可现实中监督常常落空：澳大利亚一份政府委托的报告里混进了并不存在的法院判词，一家航空公司的客服机器人随口承诺了公司并不提供的折扣票，还有编程助手在冻结期把生产数据库删了。这些事故的共同点是，出错的环节没法只靠系统自己的记录查出来，必须从外面拿一份可信的东西来对照。
② 研究问题（要回答什么？）
这篇论文要回答三个连在一起的问题。第一，判断系统有没有跑偏，需要什么样的参照信息，系统自己留下的日志够不够用。第二，由谁来查、隔多远查一次，才能把风险压到可以接受的水平。第三，谁有权修改目标本身，是系统自己、是一线操作员，还是某个被制度授权的机构。作者把这三个问题排成一个先后顺序，认为先答完第一个，后面两个才有意义；如果连“该拿什么来对照”都没想清楚，增加检查次数只是在做样子。文章还特意区分了两类动作：把已经有的意图讲清楚，只是补充信息；真正改动目标，则必须由被授权的人或机构来做，两者不能混为一谈。
③ 研究方法（怎么做的？）
这是一篇观点加理论的文章，没有做新实验，也没有收集新数据。作者的办法分三块。先用二十世纪的数学逻辑讲清一件事：只按规则办事的系统，总会遇到自己的规则和记录判断不了的情况，这时只能从外面补进信息。再把这类补充点起名叫“锚点”，围绕它搭一个四部分的模型：系统按决策单元行动并留下记录，委托人给出成功标准，内部监视器只读记录，锚点负责把外部参照送进来。最后用一条可靠性公式，算出两个锚点之间最多能隔多少个单元，再用训练、执行、多智能体协作三方面的已有证据，做出一张按任务类型分配监督方式的分级表。
④ 结果（发现了什么？）
文章的结论不是一组统计结果，而是三条带证明的判断。第一条说，如果有两次都算合规的运行留下了一模一样的内部记录，但一次跑偏、一次没跑偏，那么只读记录的监视器不可能两次都判对，必须引入记录之外的信息。第二条借用停机问题的思路证明，没有任何算法能对所有系统一次性断言它将来永远不会改目标，所以监督只能放到运行过程中反复做。第三条给出检查间隔的算法：设每个决策单元正确的把握至少是某个数，要求一段连续单元整体正确的把握不低于风险容忍度，两锚点之间的最大间隔就是两个对数之比再取整。举例说，单元正确率零点九五、风险容忍度零点五时，最多隔十三个单元就要查一次；一百个单元的任务因此要设八道关卡，至少有一次关卡失手的上界约为百分之三点八，顺利交付的把握至少约为百分之九十六。
⑤ 讨论（这些发现说明什么？）
作者强调，把真人放进流程里，不等于监督就有效。一项汇总了一百零六个实验的元分析发现，人机搭配平均比单靠人强，却比人和机器里更强的那个单独干要差。检查的人可能漏掉错误，也可能把本来对的答案改错。所以锚点的纠错效果必须在真实流程里测出来，并且公开测量口径。文章还提醒，如果操作员没有足够的信息、时间和权力，就会变成替系统背锅的角色。对政府部门来说，这意味着“必须有人审核”这类规定，如果不配上可验证的工作流程和可用的否决权，很容易停留在纸面，反而给系统披上一层合法外衣。
⑥ 结论（最终结论 + 启示）
作者的总判断是，对人类服务的智能系统来说，人的判断在结构上无法被删掉。执行、核对、日常决定都可以交给机器，但谁有权设定和修改目标，这条线必须留在人或机构手里。落到管理实践上，部署方应当像记录财务口径一样，把每个判断需要什么参照、由谁提供、多久查一次、谁能改目标写进部署文件，并允许日后修订。文章也承认，这套框架只管得到“标准有没有被遵守”，标准本身是否正当，得由社会来讨论。最后的呼吁是，设计、部署和使用智能体时，把监督和干预放在真正需要参照或授权的地方。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
文章把 AI 治理的焦点从能力转向忠实：系统的行动是否仍服务于被授权的目标 G。作者区分受益人、委托人，以及指令、意图、显示偏好与价值等不同的对齐对象，并采纳委托人规定的成功标准作为 G。三项现实失败构成问题背景：澳大利亚政府委托的报告中出现伪造的法院判词；2026 年初约每 277 篇生物医学论文就有一篇引用了不存在的文献；METR 测得前沿智能体在四分钟以内任务上几乎全成，而在四小时以上任务上成功率不足一成。此外，Replit 的编程智能体在代码冻结期删除生产数据库，Air Canada 的聊天机器人作出公司并不承认的承诺且法庭拒绝由机器人自负其责。EU AI Act 第 14 条要求高风险系统在使用中可由自然人有效监督，但 Bainbridge 的自动化反讽指出，自动化削减练习机会，却把最难的特例留给人。既有的人在回路、形式验证、反馈控制、目标对齐与责任归因框架，都把某个输入（人类 oracle 或规格）当作既定前提；本文追问的是：该输入何时必需、凭什么可信、以及谁有权改写它。
I. Theoretical Framework & Hypotheses（理论框架与假设）
锚点模型由四部分组成。第一，系统以决策单元行动，单元内可含执行、检查与自我修正，并留下内部轨迹 σ，即它能读到的输入、状态、输出与日志。第二，委托人规定成功标准 G；漂移定义为记录中呈现的目标在环境中被解释成的实际目标 Ĝ(σ,E) 与 G 的距离 δ，认证只区分 δ=0 与 δ>0。第三，内部监视器 M 只以 σ 与固定系统参数为输入（假设 A2）。第四，锚点是外部参照或判断进入记录的位置；相邻两锚点之间的单元构成一个段。
由此，命题一给出信息边界：若存在两条可容许运行共享同一内部记录而漂移判定不同（假设 A1），则只读记录的监视器无法提供普遍正确的二元认证；叠加更多同源监视器也不改变结论，因为相同输入必须给出相同输出。A1 必须在具体部署中单独论证，外部规定的目标本身并不自动产生这样的运行对。作者以代码智能体举例：目标是把服务 a 更新，但系统只通过部署别名 u 抵达，隐藏的解析关系在环境 E 中把 u 映射到 a、在 E′ 中映射到 b；只有能区分 a 与 b 的认证身份信息才能拆开这对运行。第二个边界来自补充材料定理一：在包含“模拟任意程序、并在其停机时切换目标”的模拟器族的系统类上，不存在一个对所有程序描述都停机且正确判定“目标永远保持”的可计算程序，证明是停机问题归约；推论指出，把可计算验证器放到架构边界之外也无济于事，因为所需能力本身不可计算，Remark R1 将其与 Rice 定理相连。
| 框架 | 关注范围 | 参照与设计问题 |
|---|---|---|
| 人在回路 / 人在环上 [3,16] | 角色、工作负荷与人机接口 | 哪些判断需要额外参照、谁能提供、可靠性假设支持怎样的检查节奏 |
| 形式验证与运行时监控 [17–19] | 相对模型与规格的保证；设计期与运行期保障 | 什么证据把规格与环境模型连到委托人的标准和部署条件 |
| 反馈控制与可观测性 [20] | 模型与可观测性假设下的状态估计 | 可容许案例能否共享可观测记录却需要不同的漂移判定（命题一） |
| 目标对齐与奖励学习 [21] | 奖励不确定性下从人类行为与互动推断目标 | 什么证据把学到的目标连到被授权的标准和受益人利益 |
| 责任归因 [2,22] | 法律与伦理问责；有效监督 | 责任方是否具备履职所需的证据、复核、否决与中止权力 |
与相邻框架相比，锚点框架的差别在于把“输入何时必要”本身当作设计对象：人的判断不再是流程里的装饰，而是记录无法自证时唯一可用的参照来源。
M. Materials & Methods（材料与方法）
本文是 Perspective 与概念研究，未收集新实验数据（Data Availability 明言）。方法分三层。第一层是形式化：补充材料 S1 给出系统与轨迹、目标与漂移、内部监视器、完备二元认证的定义，并把“记录不足”表述为 A1 下的不可区分运行对；S2 用停机归约证明前瞻认证的不可判定性，并讨论 Rice 定理与“可计算验证器组合无效”的推论。第二层是可靠性建模：以决策单元为粒度，设单元在给定前序正确的条件下正确概率至少为 p，单元内可含检查与自我修正，其正确性判据必须覆盖相关不可逆后果；由链式法则 P_all=∏p_i，且无需独立性假设。
- 段长约束：L 个单元全对的概率至少 p^L（记为 s）；要求 s 不低于风险容忍度 τ，得
L* = floor(ln τ / ln p)，0<p<1，0<τ<1。 - 纠错与累积风险：锚点以至少 q 的条件概率纠正仍错的输入并保留已正确的输入，令 s′=s+(1−s)q、k=ceil(n/L)，则
R_k ≤ 1 − (s′)^k；q=0 时仅划段不纠错不带来任何收益。 - 证据综合：训练端（递归训练与模型坍缩、验证集覆盖不足、目标误泛化）、执行端（METR 时间视野、误差自条件化、自我纠错的副作用）、协作端（MAST 失败分类、隐藏反馈回路与表演性预测）三类既有结果，用于说明错误在何处复合、锚点应落在哪里。
- 分类表构造：按输出可验证性 V_o、链长与不可逆性 R_c、目标可争议性 C_g、问责权重 A_w 四个维度，对给定任务阶段打 H/M/L，得到五个可并存的监督层级。
需要强调，p 与 q 只能在各次部署中校准；模型给出的是上界，并不构成对实际政策成效的排序，作者也明确说明这些上界无法单独用来比较不同检查方案的实际成功率。
R. Results（结果）
形式结果共三条。命题一（记录不足以认证漂移）依赖 A1，证明只用“相同输入必须相同输出”，与系统架构、规模、学习算法无关；即便增加更多只读同一记录的监视器，不可区分性依然保留。定理一（无限未来不可统一前瞻认证）以停机归约给出：构造系统模拟任意程序 P(x)，一旦检测到停机便把目标从 G0 切到 G1 并永久执行，于是“目标安全”等价于“P(x) 不停机”，能统一判定的程序也将判定停机问题；推论表明以可计算验证器组成的认证程序可被单台图灵机模拟，架构外置无效，而若借助一个统一可及的神谕 B 完成认证，则停机集 K 可图灵归约到 B。
第三条是间隔公式与累积风险。p=0.95、τ=0.5 时 L*=13；p=0.99、τ=0.5 时 L*=68；p=0.95、τ=0.9 时 L*=2；若 p<τ 则 L*=0，下界不支持任何正长度。取 p=0.95、L=13、q=0.99，得 s≈0.513342、s′≈0.995133，单段条件失手上界约 0.004867；n=100 时 k=8，R_8≤0.038276，P_del≥0.961724。若只在末端查一次（L=n、k=1），R_1≤(1−p^n)(1−q)=0.009941，但它只覆盖末端检查后的不正确，而 R_8 计入任何中间关卡失败（即便随后恢复），二者不可直接比较优劣。
| 单元正确率 p | 段目标 τ | 最大间隔 L* | 含义 |
|---|---|---|---|
| 0.95 | 0.5 | 13 | 论文主示例 |
| 0.99 | 0.5 | 68 | 能力提升后间隔迅速拉长 |
| 0.95 | 0.9 | 2 | 高可靠要求下几乎每步都查 |
| p<τ | — | 0 | 下界不支持任何正长度 |
证据侧的关键数字：递归微调 OPT-125m 时，保留 10% 原始数据与更低的困惑度相关（该图由文献[27]的矢量数据重绘，两协议在保留比例与训练轮数上同时不同，不能作单一因素解读）；METR 于 2026 年 3 月报告 Claude 3.7 Sonnet 在 time-horizon-1.0 上的 50% 与 80% 时间视野约为 55 与 20 分钟（1,353 次运行、169 个任务）；MAST 将七个框架的 1,642 条轨迹归为 14 种失败模式，落入系统设计、智能体间失配、任务验证三类，恰好对应角色规格、交接点与完成判据三处锚点。
| 层级 | 四维画像 V_o / R_c / C_g / A_w | 代表任务 | 锚点位置与模式 |
|---|---|---|---|
| 1 机械可验证 | H / L / L / L–M | 证明检查、编译与形式验证、结算对账 | 设计期规格与验证器复核；已验证范围内运行期锚点密度可趋近于零 |
| 2 统计可审计 | M / M / L–M / M | 推荐、分类、风险预筛、内容分流 | 定期抽样审计加持续监控；审计设计决定覆盖与频率 |
| 3 长链条开放式 | L–M / H / M / M–H | 长时程智能体、自动驾驶、自动化运营 | 假设成立时按 L* 布点；不可逆动作前设检查；自动保护加人工例外处理 |
| 4 目标生成型 | n/a / M / H / H | 研究议程、产品定义、政策目标、课程设计 | 委托人保留设定与修改目标的权力；AI 只做分析与建议 |
| 5 问责终端型 | M / H / M–H / H | 医疗签发、司法裁判、安全关键工程放行 | 规则要求可问责主体时，由人做最终签署 |
a / D. Discussion & Conclusion（讨论与结论）
把框架落到行政监督上有三点。其一，先给任务阶段定级：同一项工作可以同时落在多个层级。以编程智能体为例，编译与显式规格支持 V_o=H 与第 1 层的验证器复核；更广的功能行为只能抽样测试，V_o=M，需要第 2 层的审计设计；一长串沙箱内的编辑—测试—重试循环给出 R_c=H，按 L* 设检查点，并把每个完整循环视为一个决策单元；需求已定则 C_g=L，目标未决则进第 4 层；若放行需要法定或监管签署并指定问责主体，A_w=H，第 5 层与既有自动检查叠加。
- 谁可以改目标：澄清既有意图只是补充信息，设定或修改目标则需要委托人的权威，这是一种由制度规则授予的资格（standing），不能与可自动化的功能混为一谈；对系统的控制包括设定与重设目标的能力，因此高层目标未定时 AI 应停留在建议角色。
- 签署是否有效：有意义的人类控制要求系统对人的理由作出响应，且行为可追溯到设计或使用链条中理解该系统及其后果的人；责任必须与实际控制与权威相匹配。若签署人没有证据、时间与否决权，就会沦为“道德防撞区”，替系统承担不成比例的指责。
- 人锚点未必有效：汇总 106 个实验的元分析显示，人机组合优于单独的人，但平均劣于人或机器中更强的一方；因此锚点的纠错效果必须在真实监督安排中测量，并按 Box 1 的口径公开，供第三方复核。
- 自动化的余地：一旦通过仪表化、澄清目标或限定环境消除命题一背后的歧义，锚点可从运行期前移到设计期；若把要求放宽为有限时域再验证、概率保证或弃权，检查本身也可委托给模型——AI Control 实验即以较弱可信模型加有限人工审计预算监督较强不可信模型，安全性得到改善。
- 局限与开放问题：层级依赖 H/M/L 的定性判断，p 与 q 只能在部署中验证，委托人标准的正当性在框架之外、须由社会判断；三个待答问题是：既有记录何时足够、中间检查是否值回成本、被授权的目标修改在系统运行后是否仍然生效。
资助：深圳市“鹏城孔雀计划”2022 年特聘人才 A 类，经马兆远科研启动经费（编号 Y01966114）支持。
🧠 IRMaD 思维导图
mindmap
root((不可消除的锚点))
I 引言
AI能力不等于忠实
三类现实事故
欧盟法案第十四条
自动化反讽
监督需求激增
R 研究问题
需要什么参照
记录能否自证
谁来查隔多久查
谁有权改目标
M 方法
锚点模型四部分
哥德尔与图灵
停机问题归约
单元可靠度模型
五层任务分类
R 结果
记录相同判决不同
无限未来不可认证
间隔等于对数之比
十三单元查一次
八道关卡风险约百分之四
a 讨论
人机搭配未必更好
一百零六个实验元分析
监督需配工作流
避免背锅角色
锚点可前移到设计期
D 结论
执行可交给机器
授权必须留在人
部署文件记录锚点
标准正当性归社会
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。