arXiv 预印本 · cs.CY · 2026-09-09 · 单作者(University of Chester)

超越训练:推理期人工智能治理的可行性分类学

Samar Ansari · arXiv preprint (cs.CY) · 2026 · arXiv: 2609.10105
原题:Beyond Training: A Feasibility Taxonomy for Inference-Time AI Governance
Open Access 新颖度 0.72

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

各国现在管人工智能,主要办法是看训练的时候用了多少算力。比如欧盟规定,训练模型用掉的算力超过一个很大的数目(约十的二十五次方次浮点运算),就推定它可能有大风险,要遵守更严的规矩;美国曾经设了更高的一条线(约十的二十六次方次浮点运算)要求上报,后来那条行政令又被撤掉了;英国的做法也差不多。这套办法过去讲得通,因为那时候模型的聪明程度几乎就由训练的算力决定,谁练得久、练得大,谁就最强。

可是现在情况变了。模型一旦练好,还能在「使用」这一步下功夫变得更聪明,作者把这一步叫作推理期。能力正沿着三条路从训练阶段溜到部署阶段。一是推理时扩展,同一个问题多问几遍、多想几步、多凑几个模型一起答,靠反复采样和更长的思维链把能力「挤」出来。二是智能体脚手架,把一个本来普通的模型套进会用工具、带记忆循环的程序里,它就能当一个能干活的助手,本事其实长在脚手架里。三是把模型压缩到消费级硬件上,原本要云端大算力才能跑的能力,现在小机器也能跑,监管的「卡口」和风险面一起挪了位置。这三条合起来,让「训练算力决定能力」这句话在最前沿已经站不住脚。

② 研究问题(要回答什么?)

这篇论文要回答的问题是,一旦监管的对象从训练那一次变成每一次调用,手里到底还剩哪些工具能用。作者先把「算力治理为什么只盯训练」讲清楚:现有制度都把义务挂在训练算力上,对推理不置一词,而这个沉默不是无害的——把大模型稍微改造一下(微调小模型、复用已有部件、把模型做大,或者干脆靠推理时多花算力),就能在训练算力没超标的情况下做出前沿能力,于是整类高能力部署从门槛底下溜走。

接着他追问三件事:如果监管单位换成「一次调用」,需要一套什么样的工具箱?这些工具现在造出来了吗?造出来之后,面对不同水平的对手还管用吗?最后,这些工具和硬件层的治理是什么关系——是替代,还是互补?作者没有停在描述,他把这些问题落成一张可以打分的表:二十种推理期手段、一条四级成熟度量表、一个两维的对手模型,以及四类治理场景。

③ 研究方法(怎么做的?)

作者把能想到的推理期治理手段先收集起来,凑成一份二十七项的候选清单,最后留下二十种,分成监测、核验、执法三大类。留下来的规矩有两条。一是「两来源规则」,每种手段至少要有一篇学术文献把它讲清楚,也要有至少一个厂商把它真的做成了产品,缺一边就不算数。二是「去重规则」,如果两种候选其实是同一件事(同一个监管动作就能同时实现,或者同一个厂商功能就同时兑现),就合并成一个,留下证据更强的那一个。

打分用的是四级成熟度量表:一级「现在就能部署」(大厂已经有产品在用)、二级「近期」(技术有了,还差集成或放大,大约两三年)、三级「需要研发」(关键部件还缺,大约五到十年)、四级「纯设想」(只有概念,没有产品)。评分规则很保守:学术和厂商说法不一致时取更保守的一档;对手模型里没说清的地方,一律按「对手不合作」的情形打分,不按「对手配合」打分。

为了不让打分变成一个人的主观判断,作者又请了一位不了解这篇论文的技术专家,从二十种里随机抽了七种重新打一遍分,两边事先都不知道对方的分数,最后算了一个衡量「两人打分有多一致」的统计量。工具背后的证据来自四家厂商:三家逐条核对到行级,第四家只看概览;另一家因为和其中一家高度重叠而被排除。

④ 结果(发现了什么?)

最关键的发现是,这二十种手段里有十五种已经有厂商在生产环境里真用上了,只有两种属「近期」(工作负载分类、可信执行环境核验)、两种要研发(零知识证明推理、逐次输出证书)、一种纯设想(推理期能耗监测)。换句话说,推理期治理的工具箱比大家以为的要成熟得多。

但作者紧接着泼了一盆冷水。他交叉「对手有多强」(低、中、高)和「对手站在哪个位置」(开发者、部署者、使用者、微调者),得到十二个格子,再让每种手段对每个格子打「够用、部分够用、不够用、不适用」。结果很难看:覆盖最好的地方是「能力不高的普通使用者」,二十种里有十三种够用;一旦换成「国家级别的部署者」,二十种里十七种不够用,剩下三种也只是部分够用,没有一种算得上够用。另外,会改模型的对手(微调者)能把执法这一类手段绕开——他不改规矩,只把模型本身调得不再触发这些防线。

作者还发现,几类治理场景各有各的拿手戏:国内立法擅长直接执法,多边协定擅长跨国核验,云平台擅长运行时的即时控制,行业自律只剩「把推理过程亮出来」这一招。

⑤ 讨论(这些发现说明什么?)

作者认为,可部署和管得住是两回事。工具摆在那儿,是因为当初就是冲着「用的人不乱来」设计的;换成有本事、又不配合的对手,同一批工具立刻就不好使了。他特别点出:能扛住厉害对手的,几乎只有「核验」这一类——它不管模型干了什么,而是去证明「现在跑的到底是哪个模型、能力到底有没有变」,所以对手把模型换掉、调坏,核验能看出来;反过来,只盯着模型行为的监测和执法,都会被「换个模型」这招绕过去。

他还发现一个更深的道理:训练和推理这两层不是随便挑一层管就行。只要「训练算力能被推理算力顶替」这条路是通的,很多手段在两层的效果就都会打折,那些依赖硬件证据的手段(区域监测、逐次输出证书、地理围栏)反而变得不能省,因为硬件是唯一「在训练和推理之下」、换不掉的干预点。至于治理场景,作者提醒没有一把万能钥匙:多边协定、市场平台、行业自律各管一段,几方要搭配着用,而不是挑一个扔掉别的。

⑥ 结论(最终结论 + 启示)

说到底,推理期治理不是训练期治理的替代品,两者必须配着用。论文的核心结论是:一方面,商用的技术底座已经比监管界以为的更齐全,大多数工具是「能买到的」;另一方面,面对有本事又不配合的对手,这些工具的覆盖薄得多。这两句话说的是同一份证据,关键是让人分清楚:哪一条结论,对应的是自己真正想管的那类威胁。

由此推出三件具体的事。第一,优先把「核验」这一类做出来、做成产品,因为它在所有治理场景里都是共用的短板。第二,把推理期治理当成「治理栈」里的一层,和硬件层治理、出口管制并用,而不是单打独斗。第三,把几种治理场景组合起来,让每一方补上别人补不了的地方。对监管者来说,这张表最大的用处,是能分清自己的「成熟度好用」到底是对谁说的。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

算力治理(compute governance)在实践中一直是「对训练算力的治理」。欧盟《人工智能法》以训练算力超过 10^25 FLOP 作为通用模型系统性风险的推定门槛,美国第 14110 号行政令以 10^26 FLOP 作为报告义务阈值(后已被撤销),英国前沿 AI 守则亦围绕相近基准展开。该架构在「训练算力决定能力」成立时是自洽的:少数实验室跑少数长训练,训练运行即定义了前沿,监管架构镜像了计算架构。但该前提正在失效——能力沿三条结构性路径迁移到部署阶段:推理时扩展(重复采样、更长思维链、更大集成推理,其算力成本有时堪比一次小型训练)、智能体脚手架(能力相当程度上栖居于脚手架而非模型)、压缩与消费级硬件扩散(把原先云端级算力才有的能力装进可在消费级硬件上运行的小模型,同时移走监管卡口与威胁面)。

文献已察觉问题。Hooker 批评算力阈值短视;Pistillo 与 Villalobos 归纳四条绕过训练算力门槛的技术,其中结构上最特殊的一条是「高于最优的推理时算力扩展」——它完全不需要额外训练算力;Watson 主张多维、加权的治理框架。但推理期治理文献呈「各说各话」:技术侧把治理当作部署期工程问题在代码里解决,政策侧把技术底座当黑箱,结果是「有分类学的零件,却没有分类学本身」。本文补上这一分类学,方法论刻意继承 Ansari 的配套硬件层论文:同为四点成熟度量表、同一「监测—核验—执法」三分法、同一条保守评分规则,使两篇论文可直接比较,本文可读作同一研究纲领的第二部分。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文的实质产出是一套可行性分类学,由四个组件构成。第一,功能三分法:全部机制按任务归入监测(Monitoring,6 种:M1–M6)、核验(Verification,7 种:V1–V7)、执法(Enforcement,7 种:E1–E7);三类构成依赖链——监测产出证据,核验把证据变成可独立检验的断言,执法才有可执行的落点。第二,四级成熟度量表(量表与保守评分规则完全继承自配套硬件层论文):

档位标签定义
1现在可部署某主要厂商已在生产环境使用该机制的商用技术底座(是底座可得性,非治理级完备性)
2近期技术底座已存在,尚需集成或放大,约 2 至 3 年
3需要研发有基础研究,但关键部件缺失,约 5 至 10 年
4纯设想仅为学术概念,无生产阶段实现

第三,两维对手模型:能力层级(C1 低 / C2 中 / C3 高)乘以对手角色(R1 开发者 / R2 部署者 / R3 使用者 / R4 微调者)共十二格;对每种机制在每一格给出「够用 A / 部分够用 P / 不够用 I / 不适用 N」四值判断,合成 20×12 矩阵(附录 E)。两维之所以必要,是因为推理阶段引入了训练阶段不存在的结构性角色分离:训练模型的人、对外提供推理服务的人、发问的人、事后微调改模型的人往往不是同一主体,一维能力量表会把「使用者作恶」「部署者作恶」「微调者作恶」混为一谈。第四,四场景适配量表:L 主杠杆 / S 支撑 / I 无关 / B 结构性受阻,用于 20×4 情景矩阵(附录 F)。

由此,分类学给出可检验的预期:某机制在指定对手与指定场景下的覆盖,应可由其技术底座与依赖结构推出;成熟度是「针对某个具名对手面的断言」,而非机制的无条件属性。

M. Materials & Methods(材料与方法)

R. Results(结果)

成熟度分布(标题性发现):20 种中 15 种属「现在可部署」、2 种「近期」、2 种「需要研发」、1 种「纯设想」。下表给出完整分类学;「厂商」列为三家行级核对厂商中产品化该机制者数(上限 3),A/P/I/N 为十二格合计。

ID机制类成熟度厂商对手 A/P/I/N
M1逐请求用量与 token 记账监测现在可部署33/1/2/6
M2工作负载分类(MoE 专家激活日志)监测近期00/4/4/4
M3KV 缓存与推理 token 记账监测现在可部署33/4/1/4
M4分布式推理监测监测现在可部署32/2/2/6
M5账户身份认证与请求追踪监测现在可部署32/2/2/6
M6推理期能耗与成本监测监测纯设想00/0/6/6
V1TEE 界内推理证明核验近期12/6/1/3
V2推理零知识证明(zkML)核验需要研发00/0/3/9
V3逐次输出硬件背书工作负载证书核验需要研发00/6/3/3
V4工具调用签名与智能体轨迹证明核验现在可部署25/4/0/3
V5能力评测报告核验现在可部署24/3/2/3
V6检索来源与引用日志核验现在可部署30/4/2/6
V7思维链可监测性核验现在可部署32/5/5/0
E1按部署许可与访问控制执法现在可部署33/2/1/6
E2输出过滤与能力门控执法现在可部署32/5/5/0
E3司法辖区限定推理(地理围栏)执法现在可部署32/2/2/6
E4速率限制作为治理原语执法现在可部署32/4/0/6
E5智能体动作许可与 policy-as-code 门执法现在可部署32/4/3/3
E6工具使用授权与沙箱执法现在可部署32/5/2/3
E7推理期关闭开关与 kill-chain执法现在可部署22/5/2/3

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((推理期治理分类学))
    I 引言
      算力治理只盯训练
      能力迁移到部署期
      文献有零件没分类学
    R 研究问题
      监管对象换成每次调用
      还剩哪些工具可用
      二十种机制三类
    M 方法
      二十七候选留二十
      两来源加去重规则
      四点成熟度量表
      第二评分人复评
    R 结果
      十五种已可部署
      国家级部署者零够用
      使用者列覆盖最强
      微调者击穿执法类
    a 讨论
      可部署不等于管得住
      核验类挡住最难对手
      三情景难以互相替代
    D 结论
      优先产品化核验类
      与硬件层并用
      按情景组合治理

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。