ARCHER：把法规变成可执行代码的智能体合规审查框架

🧒 初中生也能看懂的版本

① 研究背景（为什么要做？）

在新加坡盖一栋楼，设计图纸要同时满足几千条建筑规范：楼梯宽度、防火间距、无障碍坡道、通风面积……过去这些都要靠有经验的审查员一条条对照，既慢又容易漏，项目一大就更吃不消。有人尝试写自动检查程序，但每套程序只能对付一种规范，换个项目就得重写，而且大多是黑箱，审查员根本不知道它有没有理解错法规的原意。现在大模型能读法规了，可新的问题来了：让模型直接读一条规范就写检查代码，它经常写错、编造，而且错在哪你也看不出来。作者的出发点是：能不能把“读法规—写代码—跑测试—改代码”变成一条固定的流水线，让 AI 在里面分工干活。

② 研究问题（要回答什么？）

论文要回答三个问题。第一，把大模型组织成多智能体的合规审查流水线，到底比“一次性提问”强多少？强在哪里？第二，流水线里加多少“智能”才合适——是越复杂越好，还是简单直接反而稳？第三，政府和监管机构往往不能把图纸上传到外部云，只能用本地部署的开源模型，这种“弱一点但数据不出门”的方案，能不能达到接近前沿云模型的效果，成本又能不能接受？

③ 研究方法（怎么做的？）

作者设计了一个叫 ARCHER 的“合规审查流水线”，核心思路是把任务拆给三个角色：规划者读法规、拆出检查点；生成者写出可执行的检查代码；评估者在真实图纸上跑测试、看结果、把错误反馈回去，循环到通过为止。为了搞清楚“到底哪一步在起作用”，他们做了 六个版本，从最简单的“问一次就出代码”，到加执行反馈、加测试驱动、加 LLM 自己当调度员，再到 ARCHER 的固定分工编排。测试对象是 十条真实建筑规范，每一条都在 四个不同档次的模型上跑：最强的云端模型、便宜的云端模型、可自托管的开源模型、以及完全本地部署的量化小模型。评分用的是“并集准确率”，即把模型多次尝试里做对的部分合起来算，避免因为一次没写全就全盘否定。

④ 结果（发现了什么？）

结论很清晰：ARCHER 在四个模型上都是第一。相比“一次性提问”的基线，平均并集准确率提升了 82%。更有意思的是几条反直觉发现：给单个模型塞一大堆测试反馈，对强模型有用（GPT-5.5 升到 0.9468），对弱模型反而是灾难——本地量化模型从 0.4754 直接崩到 0.1719，因为它不知道怎么把密集的评分反馈变成有针对性的修改。而把工作拆成三个专职智能体之后，弱模型又活了：DeepSeek 从 0.6486 跳到 0.9459，ARCHER 版本达到 0.9542，离最强云模型只差 2.2 个百分点。成本上，自托管的开源模型用 ARCHER 能达到前沿模型 97.8% 的准确率，只要约四分之一的价格，这对“数据不能出门”的政府场景非常关键。

⑤ 讨论（这些发现说明什么？）

作者认为，这项研究最重要的教训不是“模型越大越好”，而是编排结构比模型能力更能决定弱模型的成败。当任务被固定拆成“计划—生成—评估”三段，每个智能体只需要做好一件小事，弱模型也能被流程兜住；反过来，如果把所有反馈一股脑塞给一个弱模型，它会淹没在信息里。另一个发现是“让 LLM 自己当调度员”并不划算：固定控制循环在所有模型上都优于 LLM 编排，因为调度本身也需要能力，弱模型调度不好自己的子智能体。作者也指出，生成的检查代码是给人看的、可审计的，这是相比黑箱商业软件的核心优势。

⑥ 结论（最终结论 + 启示）

结论是：监管合规这种“规则密集、必须可解释”的任务，适合用可审计的智能体流水线来做，而不是指望一个万能大模型。对监管机构而言，这意味着可以在本地部署模型、把法规转成可运行的检查代码，再由审查员复核代码本身，从而既保住数据主权，又获得接近前沿模型的准确率。作者也提醒，当前只在十条规范和单一建筑领域验证，跨领域、跨语言的法规迁移仍是下一步。

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

建筑信息模型（BIM）与 IFC 标准使设计数据语义化，但合规审查仍以人工为主：新加坡等司法辖区的项目需同时满足数千条规范，人工核对成本高、可扩展性差。既有自动合规检查器（ACC）通常针对特定规则集硬编码，跨场景泛化差，且多为闭源，用户无法验证其是否准确捕捉监管意图。LLM 的出现提供了从自然语言法规直接合成检查代码的可能，但单次生成不可靠、错误不可见。本文提出 ARCHER——一个测试驱动、确定性编排的多智能体程序合成框架，并通过六个递进式 harness 的受控对比，回答“何种智能体结构在何种模型上有效”这一设计问题。

I. Theoretical Framework & Hypotheses（理论框架与假设）

框架把合规审查建模为从规范文本到可执行验证程序的合成任务，并以“可审计性”为第一原则：生成的代码即证据，监管者可逐行复核其是否忠实表达法规意图。设计假设包括：（H1）执行反馈优于纯文本生成；（H2）结构化多智能体分工优于单智能体提示；（H3）固定控制循环优于 LLM 自主编排；（H4）弱骨干模型从结构化编排中获益更大。评测指标为并集准确率：

A∪ = |∪ᵢ Pᵢ ∩ G| / |G|

其中 Pᵢ 为第 i 次尝试预测的违规元素集合，G 为金标准集合，用以奖励“多次尝试合并后覆盖正确结果”的能力。

M. Materials & Methods（材料与方法）

任务与数据：10 条真实建筑规范（R1–R10），来自新加坡 Codes of Practice，配套真实 IFC 模型与元素级金标准判定。
六个 harness：H0 单次生成；H1 执行反馈生成；H2–H3 测试驱动迭代（不同反馈粒度）；H4 LLM 编排的多智能体；H5 ARCHER 固定 planner–generator–evaluator 控制循环。
四个骨干模型：GPT-5.5（前沿 API）、GPT-5.4 Mini（廉价 API）、DeepSeek-v4-flash（可自托管开源）、GPT-OSS-120B-Q4KM（完全本地，单台 DGX Spark）。
成本口径：统一按 OpenRouter 公开每百万 token 价格计价，自托管与本地部署按市场价代理服务成本。
对照说明：商业平台（如 Solibri）需人工先把规范编码为专有规则语言，且不输出元素级判定，无法作为外部基线；因此以 H0–H4 覆盖领域主要设计点，在相同输入、骨干与指标下横向比较。
评分：每个 harness 取最佳 checkpoint 的并集准确率；同时记录输入/输出 token 消耗。

R. Results（结果）

ARCHER 全面最优：H5 在四个骨干上均取得最高并集准确率；相较朴素单次提示基线，平均并集准确率提升 82%。
编排优于自治：H5 相对 LLM 编排的 H4 提升 +0.008 至 +0.245，弱骨干受益最大，说明固定控制循环比让模型自行调度更可靠。
无结构反馈伤害弱模型：H2 使 GPT-5.5 升至 0.9468，但 DeepSeek-v4-flash 由 0.6625 降至 0.5725，GPT-OSS-120B 由 0.4754 崩至 0.1719。
结构化编排可恢复：DeepSeek-v4-flash 由 H3 的 0.6486 升至 H4 的 0.9459、H5 的 0.9542；自托管模型距前沿档仅 2.2 个百分点。
成本—精度：自托管开源模型经 ARCHER 可达前沿 API 准确率的 97.8%，成本约为其四分之一。
token 规模：多智能体 harness 的 token 消耗比单智能体高一个数量级；H0→H5 输入 token 放大倍数随模型能力下降而上升（GPT-5.5 为 8.0×，GPT-OSS-120B 为 223.7×），弱模型“用 token 为错误买单”。

Harness	结构	GPT-5.5	DeepSeek-v4-flash	GPT-OSS-120B
H0	单次生成	基线	基线	基线
H2	单智能体 + 全量测试反馈	0.9468	0.5725	0.1719
H3	测试驱动迭代	—	0.6486	—
H4	LLM 编排多智能体	—	0.9459	—
H5	ARCHER 固定编排	最高	0.9542	最高

a / D. Discussion & Conclusion（讨论与结论）

设计启示：编排结构是弱模型能力的放大器；固定 planner–generator–evaluator 循环优于 LLM 自主调度，因为调度本身消耗能力。
治理价值：生成物是可读、可版本化的检查代码，监管者可审计其法规映射，避免商业黑箱；同时支持本地部署，满足数据主权要求。
局限：仅 10 条规范、单一建筑领域与新加坡语境；并集准确率奖励多尝试合并，可能高估单次部署可靠性；成本按 API 牌价代理，未计实际硬件摊销。
结论：ARCHER 证明“可审计的智能体流水线 + 本地模型”可以在合规审查中达到接近前沿的精度与显著更低的成本，为监管科技提供了一条可复制的工程路径。

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论

mindmap
  root((法规变代码))
    I 引言
      建筑规范成千上万
      人工审查慢且漏
      黑箱检查器不可信
    R 框架
      可审计为第一原则
      执行反馈优于生成
      固定编排优于自治
    M 方法
      规划生成评估三角色
      六个递进式方案
      十条真实规范
      四个档次模型
    R 结果
      平均提升 82%
      本地模型达 97.8%
      成本仅四分之一
      弱模型怕无结构反馈
    a 讨论
      结构比模型更关键
      弱模型靠流程兜住
      代码可供监管复核
    D 结论
      监管科技可行路径
      本地部署保数据主权
      跨领域仍待验证

图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法；橙色 R 结果；紫色 a 讨论；红色 D 结论。