🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
各国现在管人工智能,主要办法是看训练的时候用了多少算力。比如欧盟规定,训练模型用掉的算力超过一个很大的数目(约十的二十五次方次浮点运算),就推定它可能有大风险,要遵守更严的规矩;美国曾经设了更高的一条线(约十的二十六次方次浮点运算)要求上报,后来那条行政令又被撤掉了;英国的做法也差不多。这套办法过去讲得通,因为那时候模型的聪明程度几乎就由训练的算力决定,谁练得久、练得大,谁就最强。
可是现在情况变了。模型一旦练好,还能在「使用」这一步下功夫变得更聪明,作者把这一步叫作推理期。能力正沿着三条路从训练阶段溜到部署阶段。一是推理时扩展,同一个问题多问几遍、多想几步、多凑几个模型一起答,靠反复采样和更长的思维链把能力「挤」出来。二是智能体脚手架,把一个本来普通的模型套进会用工具、带记忆循环的程序里,它就能当一个能干活的助手,本事其实长在脚手架里。三是把模型压缩到消费级硬件上,原本要云端大算力才能跑的能力,现在小机器也能跑,监管的「卡口」和风险面一起挪了位置。这三条合起来,让「训练算力决定能力」这句话在最前沿已经站不住脚。
② 研究问题(要回答什么?)
这篇论文要回答的问题是,一旦监管的对象从训练那一次变成每一次调用,手里到底还剩哪些工具能用。作者先把「算力治理为什么只盯训练」讲清楚:现有制度都把义务挂在训练算力上,对推理不置一词,而这个沉默不是无害的——把大模型稍微改造一下(微调小模型、复用已有部件、把模型做大,或者干脆靠推理时多花算力),就能在训练算力没超标的情况下做出前沿能力,于是整类高能力部署从门槛底下溜走。
接着他追问三件事:如果监管单位换成「一次调用」,需要一套什么样的工具箱?这些工具现在造出来了吗?造出来之后,面对不同水平的对手还管用吗?最后,这些工具和硬件层的治理是什么关系——是替代,还是互补?作者没有停在描述,他把这些问题落成一张可以打分的表:二十种推理期手段、一条四级成熟度量表、一个两维的对手模型,以及四类治理场景。
③ 研究方法(怎么做的?)
作者把能想到的推理期治理手段先收集起来,凑成一份二十七项的候选清单,最后留下二十种,分成监测、核验、执法三大类。留下来的规矩有两条。一是「两来源规则」,每种手段至少要有一篇学术文献把它讲清楚,也要有至少一个厂商把它真的做成了产品,缺一边就不算数。二是「去重规则」,如果两种候选其实是同一件事(同一个监管动作就能同时实现,或者同一个厂商功能就同时兑现),就合并成一个,留下证据更强的那一个。
打分用的是四级成熟度量表:一级「现在就能部署」(大厂已经有产品在用)、二级「近期」(技术有了,还差集成或放大,大约两三年)、三级「需要研发」(关键部件还缺,大约五到十年)、四级「纯设想」(只有概念,没有产品)。评分规则很保守:学术和厂商说法不一致时取更保守的一档;对手模型里没说清的地方,一律按「对手不合作」的情形打分,不按「对手配合」打分。
为了不让打分变成一个人的主观判断,作者又请了一位不了解这篇论文的技术专家,从二十种里随机抽了七种重新打一遍分,两边事先都不知道对方的分数,最后算了一个衡量「两人打分有多一致」的统计量。工具背后的证据来自四家厂商:三家逐条核对到行级,第四家只看概览;另一家因为和其中一家高度重叠而被排除。
④ 结果(发现了什么?)
最关键的发现是,这二十种手段里有十五种已经有厂商在生产环境里真用上了,只有两种属「近期」(工作负载分类、可信执行环境核验)、两种要研发(零知识证明推理、逐次输出证书)、一种纯设想(推理期能耗监测)。换句话说,推理期治理的工具箱比大家以为的要成熟得多。
但作者紧接着泼了一盆冷水。他交叉「对手有多强」(低、中、高)和「对手站在哪个位置」(开发者、部署者、使用者、微调者),得到十二个格子,再让每种手段对每个格子打「够用、部分够用、不够用、不适用」。结果很难看:覆盖最好的地方是「能力不高的普通使用者」,二十种里有十三种够用;一旦换成「国家级别的部署者」,二十种里十七种不够用,剩下三种也只是部分够用,没有一种算得上够用。另外,会改模型的对手(微调者)能把执法这一类手段绕开——他不改规矩,只把模型本身调得不再触发这些防线。
作者还发现,几类治理场景各有各的拿手戏:国内立法擅长直接执法,多边协定擅长跨国核验,云平台擅长运行时的即时控制,行业自律只剩「把推理过程亮出来」这一招。
⑤ 讨论(这些发现说明什么?)
作者认为,可部署和管得住是两回事。工具摆在那儿,是因为当初就是冲着「用的人不乱来」设计的;换成有本事、又不配合的对手,同一批工具立刻就不好使了。他特别点出:能扛住厉害对手的,几乎只有「核验」这一类——它不管模型干了什么,而是去证明「现在跑的到底是哪个模型、能力到底有没有变」,所以对手把模型换掉、调坏,核验能看出来;反过来,只盯着模型行为的监测和执法,都会被「换个模型」这招绕过去。
他还发现一个更深的道理:训练和推理这两层不是随便挑一层管就行。只要「训练算力能被推理算力顶替」这条路是通的,很多手段在两层的效果就都会打折,那些依赖硬件证据的手段(区域监测、逐次输出证书、地理围栏)反而变得不能省,因为硬件是唯一「在训练和推理之下」、换不掉的干预点。至于治理场景,作者提醒没有一把万能钥匙:多边协定、市场平台、行业自律各管一段,几方要搭配着用,而不是挑一个扔掉别的。
⑥ 结论(最终结论 + 启示)
说到底,推理期治理不是训练期治理的替代品,两者必须配着用。论文的核心结论是:一方面,商用的技术底座已经比监管界以为的更齐全,大多数工具是「能买到的」;另一方面,面对有本事又不配合的对手,这些工具的覆盖薄得多。这两句话说的是同一份证据,关键是让人分清楚:哪一条结论,对应的是自己真正想管的那类威胁。
由此推出三件具体的事。第一,优先把「核验」这一类做出来、做成产品,因为它在所有治理场景里都是共用的短板。第二,把推理期治理当成「治理栈」里的一层,和硬件层治理、出口管制并用,而不是单打独斗。第三,把几种治理场景组合起来,让每一方补上别人补不了的地方。对监管者来说,这张表最大的用处,是能分清自己的「成熟度好用」到底是对谁说的。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
算力治理(compute governance)在实践中一直是「对训练算力的治理」。欧盟《人工智能法》以训练算力超过 10^25 FLOP 作为通用模型系统性风险的推定门槛,美国第 14110 号行政令以 10^26 FLOP 作为报告义务阈值(后已被撤销),英国前沿 AI 守则亦围绕相近基准展开。该架构在「训练算力决定能力」成立时是自洽的:少数实验室跑少数长训练,训练运行即定义了前沿,监管架构镜像了计算架构。但该前提正在失效——能力沿三条结构性路径迁移到部署阶段:推理时扩展(重复采样、更长思维链、更大集成推理,其算力成本有时堪比一次小型训练)、智能体脚手架(能力相当程度上栖居于脚手架而非模型)、压缩与消费级硬件扩散(把原先云端级算力才有的能力装进可在消费级硬件上运行的小模型,同时移走监管卡口与威胁面)。
文献已察觉问题。Hooker 批评算力阈值短视;Pistillo 与 Villalobos 归纳四条绕过训练算力门槛的技术,其中结构上最特殊的一条是「高于最优的推理时算力扩展」——它完全不需要额外训练算力;Watson 主张多维、加权的治理框架。但推理期治理文献呈「各说各话」:技术侧把治理当作部署期工程问题在代码里解决,政策侧把技术底座当黑箱,结果是「有分类学的零件,却没有分类学本身」。本文补上这一分类学,方法论刻意继承 Ansari 的配套硬件层论文:同为四点成熟度量表、同一「监测—核验—执法」三分法、同一条保守评分规则,使两篇论文可直接比较,本文可读作同一研究纲领的第二部分。
I. Theoretical Framework & Hypotheses(理论框架与假设)
本文的实质产出是一套可行性分类学,由四个组件构成。第一,功能三分法:全部机制按任务归入监测(Monitoring,6 种:M1–M6)、核验(Verification,7 种:V1–V7)、执法(Enforcement,7 种:E1–E7);三类构成依赖链——监测产出证据,核验把证据变成可独立检验的断言,执法才有可执行的落点。第二,四级成熟度量表(量表与保守评分规则完全继承自配套硬件层论文):
| 档位 | 标签 | 定义 |
|---|---|---|
| 1 | 现在可部署 | 某主要厂商已在生产环境使用该机制的商用技术底座(是底座可得性,非治理级完备性) |
| 2 | 近期 | 技术底座已存在,尚需集成或放大,约 2 至 3 年 |
| 3 | 需要研发 | 有基础研究,但关键部件缺失,约 5 至 10 年 |
| 4 | 纯设想 | 仅为学术概念,无生产阶段实现 |
第三,两维对手模型:能力层级(C1 低 / C2 中 / C3 高)乘以对手角色(R1 开发者 / R2 部署者 / R3 使用者 / R4 微调者)共十二格;对每种机制在每一格给出「够用 A / 部分够用 P / 不够用 I / 不适用 N」四值判断,合成 20×12 矩阵(附录 E)。两维之所以必要,是因为推理阶段引入了训练阶段不存在的结构性角色分离:训练模型的人、对外提供推理服务的人、发问的人、事后微调改模型的人往往不是同一主体,一维能力量表会把「使用者作恶」「部署者作恶」「微调者作恶」混为一谈。第四,四场景适配量表:L 主杠杆 / S 支撑 / I 无关 / B 结构性受阻,用于 20×4 情景矩阵(附录 F)。
由此,分类学给出可检验的预期:某机制在指定对手与指定场景下的覆盖,应可由其技术底座与依赖结构推出;成熟度是「针对某个具名对手面的断言」,而非机制的无条件属性。
M. Materials & Methods(材料与方法)
- 识别策略(评分协议):本文无回归/实验设计,其「识别」是一套固定的专家结构化编码协议——用一把四点量表给技术底座打分,用固定的保守规则消解不确定性,并以第二评分人加一致性统计检验评分是否可复现。
- 机制选取规则:27 项候选降至 20 项。通过条件为(i)两来源规则:至少一篇语料中的学术文献给出操作化定义,且至少一个厂商来源(有文档化的产品原语,或有文档化的缺失并带对手模型含义);(ii)去重规则:与已留机制操作上不可区分者合并(判据为同一监管动作即可实现、或同一厂商原语即兑现、或文献等同视之),合并时保留四厂商证据更强者。未通过者:投机解码草稿模型记账、意图校验委托链(因无厂商产品化被弃);政策卡、能力更新生命周期、污点传播信息流追踪(因分别与 E5、E1/E7、E5/E6 不可区分被并入);白盒隐状态监测并入 V7,纵向信任评分并入 E4/E5。最终分布为监测 6、核验 7、执法 7。
- 保守评分规则:学术与厂商证据冲突时取更保守档;对手模型未言明处按「对手不合作」而非「合作」评分;相邻档不确定时取更保守(更大数字)者。
- 对手矩阵的三条补充约定:区分 I(机制对该对手无效)与 N(该对手角色不触及机制所针对的威胁面,例如微调者对检索语料核验 V6 为 N);对部分产品化机制(V1、V3、M2、M6)按「近期产品化假设」评分并显式标注为有条件;厂商架构分歧处(E2、V7)按最防御性架构评分,唯一例外是对微调者(R4)的执法格(E2、E5、E6、E7),按「整机制保守读法」评分,不把可能幸存的平台外部控制计入。
- 信度检验:第二评分人(强化学习与物联网背景、与本文无关)持自足简报独立复评随机抽样的 7 种机制(覆盖三类:V1、V2、V4、V7、M3、E2、E4)。作者评分于 2026-06-20 封存;第二评分人 6 月 19 日收到简报、6 月 23 日提交,双方评分互不可见。
- 一致性统计:
kappa(quadratic-weighted) = 0.74(Landis & Koch「高度一致」);同一数据kappa(linear-weighted) = 0.63、kappa(unweighted) = 0.53(「中度一致」)。7 例中 5 例完全一致,2 例(V4、V7)相差一档且第二评分人均更保守。作者披露三重脆弱性:一档改动即可使加权 kappa 变动约0.13(若 V4 亦一致,加权 kappa 升至0.87);边际分布偏斜(作者 7 例中 5 例为「现在可部署」,触发 prevalence problem);样本仅 7 例,故 kappa 仅作佐证而非定论。 - 证据底座:四厂商——Anthropic、OpenAI、Google Vertex AI 逐条核对至行级,AWS Bedrock 仅概览级;Azure OpenAI 因与 OpenAI 结构重叠(同一供给加微软企业控制原语)被排除。厂商文档快照日期 2026-05-22(附录 D)。
R. Results(结果)
成熟度分布(标题性发现):20 种中 15 种属「现在可部署」、2 种「近期」、2 种「需要研发」、1 种「纯设想」。下表给出完整分类学;「厂商」列为三家行级核对厂商中产品化该机制者数(上限 3),A/P/I/N 为十二格合计。
| ID | 机制 | 类 | 成熟度 | 厂商 | 对手 A/P/I/N |
|---|---|---|---|---|---|
| M1 | 逐请求用量与 token 记账 | 监测 | 现在可部署 | 3 | 3/1/2/6 |
| M2 | 工作负载分类(MoE 专家激活日志) | 监测 | 近期 | 0 | 0/4/4/4 |
| M3 | KV 缓存与推理 token 记账 | 监测 | 现在可部署 | 3 | 3/4/1/4 |
| M4 | 分布式推理监测 | 监测 | 现在可部署 | 3 | 2/2/2/6 |
| M5 | 账户身份认证与请求追踪 | 监测 | 现在可部署 | 3 | 2/2/2/6 |
| M6 | 推理期能耗与成本监测 | 监测 | 纯设想 | 0 | 0/0/6/6 |
| V1 | TEE 界内推理证明 | 核验 | 近期 | 1 | 2/6/1/3 |
| V2 | 推理零知识证明(zkML) | 核验 | 需要研发 | 0 | 0/0/3/9 |
| V3 | 逐次输出硬件背书工作负载证书 | 核验 | 需要研发 | 0 | 0/6/3/3 |
| V4 | 工具调用签名与智能体轨迹证明 | 核验 | 现在可部署 | 2 | 5/4/0/3 |
| V5 | 能力评测报告 | 核验 | 现在可部署 | 2 | 4/3/2/3 |
| V6 | 检索来源与引用日志 | 核验 | 现在可部署 | 3 | 0/4/2/6 |
| V7 | 思维链可监测性 | 核验 | 现在可部署 | 3 | 2/5/5/0 |
| E1 | 按部署许可与访问控制 | 执法 | 现在可部署 | 3 | 3/2/1/6 |
| E2 | 输出过滤与能力门控 | 执法 | 现在可部署 | 3 | 2/5/5/0 |
| E3 | 司法辖区限定推理(地理围栏) | 执法 | 现在可部署 | 3 | 2/2/2/6 |
| E4 | 速率限制作为治理原语 | 执法 | 现在可部署 | 3 | 2/4/0/6 |
| E5 | 智能体动作许可与 policy-as-code 门 | 执法 | 现在可部署 | 3 | 2/4/3/3 |
| E6 | 工具使用授权与沙箱 | 执法 | 现在可部署 | 3 | 2/5/2/3 |
| E7 | 推理期关闭开关与 kill-chain | 执法 | 现在可部署 | 2 | 2/5/2/3 |
- 对手矩阵三项头号发现:(1)使用者列覆盖最强——C1.R3 有 13/20 够用,C2.R3 降至 6/20,C3.R3 仅 3/20(越狱与提示注入的复杂度随对手资源上升);被优化针对的正是这一类(E2 输出过滤、E4 限速、E6 沙箱、V7 作为越狱探测器)。(2)国家级部署者格 C3.R2 覆盖最弱——17/20 不够用,仅 V1、V4、E4 三种部分够用,零种够用;原因是几乎所有机制都依赖平台配合,而国家级部署者恰恰自建推理基础设施。V4(工具调用签名)是全场最稳健机制(12 格中 5 够用、4 部分、0 不够用、3 不适用),因其效力源于密码学而非平台配合。(3)微调者列 R4 击穿执法类——E2 在 C2.R4 与 C3.R4 均不够用,E5/E6/E7 在 C2.R4 部分、C3.R4 不够用;核验类反而守住:V5 三个能力档均够用(检测相对基线的能力偏离),V1 中档够用、V3 与 V4 部分。结构原因是只有「验证跑的是哪个模型」的核验类能察觉权重被改写,而运行时过滤或约束模型行为的执法类会被「训练绕过」(Qi 等人的微调攻击)。
- R2 列总量:60 格(3 档乘 20 机制)中仅 11 格够用、20 部分、29 不够用;11 格够用中 7 格为执法类且全在最低档 C1.R2,仅 3 格为核验类(V1 于 C2.R2、V4 于 C1 与 C2.R2)。
- 不适用分布:86 个 N 格中 74 个落在 R1(45)与 R4(29),因推理期机制作用于部署与推理时刻,不覆盖训练与权重改写时刻——这两类对手恰属硬件层治理与出口管制的辖区。
- 情景矩阵(20×4):S1 国内监管 L7/S9/I4/B0;S2 双边或多边 L5/S11/I4/B0;S4 行业自律 L1/S12/I4/B3(三个 B 为 V1、V2、V3,因密码学核验需要情景结构无法构成的受信第三方验证者);S5 算力市场 L10/S6/I4/B0。六种机制在任何情景都不是主杠杆(M2、M3、M6、V2、V3、V6);E3(地理围栏)是唯一在三个情景为主杠杆者;无机制在四个情景均为主杠杆。
- 替代映射(与硬件层论文):20 种中 12 种有硬件层对应(9 种并行替代,3 种层叠替代:M4 依赖 A-M6 位置证明、V3 继承 A-V3 FlexHEG 加密底座、E3 依赖 A-M6 位置证明),8 种无(7 种无对应:M3、V4、V6、V7、E2、E5、E6;1 种架构分歧:V2 对 A-V2,因训练依赖 SGD 随机性可证、推理近确定性且不产生梯度,二者证明系统结构不同、不可互替)。
- 条件替代原理:当 (a) 受管活动主要发生在受管生命周期阶段、(b) 训练与推理算力间的替代有界 两个条件成立时,并行替代列中「只在训练端」与「只在推理端」施加同一机制可获得可比监管覆盖;一旦 (a) 或 (b) 失效,并行列塌陷,层叠替代列(M4、V3、E3)由「可用」升为「结构性必要」,因为替代通道无法作用于「同时运行训练与推理的硬件」之下。
a / D. Discussion & Conclusion(讨论与结论)
- 「就绪度缺口」重述:推理期工具箱「在威胁平常处成熟、在威胁老练处单薄」。缺口不在商用底座(底座很足),而在治理级保证(governance-grade assurance)——原语很多,可独立审计且抗强对手的机制很少。乐观读法(多数机制可部署)与悲观读法(面对强对手覆盖崩塌)描述同一矩阵,本文的价值在于把两者各自成立的条件讲明。
- 研究启示:(1)优先做核验类的产品化而非发明新机制——V1 停在「近期」只因底座(机密虚拟机、机密 GPU、Nitro Enclaves、NVIDIA 机密计算)存在但未在推理 API 暴露,属产品化决策而非研究前沿,且 V1 是若干机制的分层底座,是改变矩阵最便宜的单点干预;(2)层叠替代机制(M4、V3、E3)的结构性权重随训练与推理替代效率上升而上升,V3 的「需要研发」评级低估了其紧迫性;(3)思维链可监测性(V7)应作为「防御」而非「原语」看待——受忠实性限制(暴露的推理轨迹未必反映产生输出的真实计算),它在公开部署的强对手面前不足以依赖。
- 政策启示:综合体制是情景的组合而非取舍——国内监管的比较优势是直接执法(7 种执法机制里 5 种为主杠杆),多边协调是核验(3 种核验在国内只是支撑、在多边成主杠杆),市场平台是运行时控制(主杠杆最密,10 个),行业自律的窄优势是法律强制无法改善的推理透明层。所有情景的共同约束都是同一个就绪度缺口(V1、V2、V3),故把政策注意力放在核验类产品化上会同时抬高所有情景的天花板。
- 边界与交接:对国家级部署者(C3.R2)与高能力微调者(C3.R4),推理期工具箱结构性受限,这些缺口无法由任何推理期机制补上,属于硬件层治理、权重与加速器出口管制、以及脱离平台中介的开权重面。推理期治理是补充而非替代,把它当独立方案会恰好放过最高能力的对手。
- 局限:证据仅四厂商,不覆盖开权重与自托管面(恰是市场与自律情景够不到的面);厂商内容扫描为关键词级而非逐行通读(AWS 依据约 4,800 页单一用户指南的关键词锚定抽取);评分为单人赋值,仅 7/20 经第二评分人复核,对手矩阵与情景矩阵均为单作者编码、未独立复评;两处判断暴露给审稿人——执法类的「对手分档」评分与情景矩阵的三格 B 评级(拒绝该区分者可把 B 并入 I 而不扰动实质结论);V3 可能与 V4 或 V1 合并,V5 为分裂评级(描述性报告可部署、密码学证明待研发)使标题计数变复杂;矩阵为 2026-05 产品化状态快照,需随商业面演化重评。
- 结论:推理期治理与硬件层治理由替代动力耦合并非冗余替代;关系不是「二选一」,而是「在替代起作用时缺一不可」。
🧠 IRMaD 思维导图
mindmap
root((推理期治理分类学))
I 引言
算力治理只盯训练
能力迁移到部署期
文献有零件没分类学
R 研究问题
监管对象换成每次调用
还剩哪些工具可用
二十种机制三类
M 方法
二十七候选留二十
两来源加去重规则
四点成熟度量表
第二评分人复评
R 结果
十五种已可部署
国家级部署者零够用
使用者列覆盖最强
微调者击穿执法类
a 讨论
可部署不等于管得住
核验类挡住最难对手
三情景难以互相替代
D 结论
优先产品化核验类
与硬件层并用
按情景组合治理
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。