🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
今天几乎所有政府都在说自己用上了人工智能,但这句话其实什么都没说清楚。同样一个词,可能指三十年前就写死的一套规则,也可能指今天能自己上网查资料、自己动手办事的智能体。
打个比方。你去食堂打饭,可能遇到三种打饭的方式:第一种是自动售饭机,按钮一按就出固定分量,规则是人一条条写进去的;第二种是一位老阿姨,她凭多年经验判断你今天该多打点还是少打点,你问她为什么,她说得出理由;第三种是一台谁也说不清内部怎么想的机器,它只吐出一个数字说给你三勺,你想问为什么,它答不上来。
这三种在治理上完全不是一回事。你能不能查它、能不能告它、出了错该找谁负责,全都不一样。可是在学术论文里,它们经常被同一个词——人工智能——盖住了。
这篇论文提出的问题就是:公共行政这门学科,是不是因为把技术分得太粗,把不同的东西混成了一锅粥,从而让积累起来的知识变得不可靠?
② 研究问题(要回答什么?)
作者把这项研究拆成了三个层层递进的问题。
第一问:哪些技术差别真的值得公共行政学者关心?作者提出一条判断标准——如果两种技术不同的系统,对公众能不能监督、当事人能不能申辩、会不会歧视人、政府有没有能力管住它、出事找谁负责这五件事的影响不一样,那这个技术差别就必须说清楚;如果影响一样,那就不必纠缠。
第二问:现在的研究做到了吗?作者不打算靠感觉下判断,而是把近七年这个领域引用量最高的论文找出来,一篇一篇地读、一条一条地编码,看看到底有多少篇没说清楚自己研究的是哪一种系统。
第三问:以后怎么办?如果发现问题普遍存在,就得给出一套连不懂技术的人也能用的补救办法。这套办法不能贵、不能难,否则没人会用。
③ 研究方法(怎么做的?)
作者的做法分成两半,前一半是造尺子,后一半是拿尺子去量。
造尺子。他们把政府里的人工智能分成五层,分层依据不是算法本身有多先进,而是它让人能做什么、不能做什么。第一层是手写规则系统,规则是人一条条敲进去的;第二层是玻璃箱系统,规则从数据里学出来,但专家还能看懂;第三层是黑箱系统,学出来的逻辑连专家也看不懂,只吐出一个分数;第四层是通用系统,也就是大模型,是外面公司训练好的,政府只是拿来用;第五层是智能体系统,它不只给建议,还会自己动手去做事。作者强调,从一层跨到另一层,变的不是准确率,而是谁能查、谁能管、谁担责。
量东西。他们用学术数据库检索了 2019 到 2025 年公共行政和数字政府领域的论文,按每年引用量最高挑选,初步得到 109 篇,再人工剔除那些只把人工智能当工具用的,最后剩下 91 篇。编码时不整篇打分,而是把论文拆成一条条论点,分别标记这条论点是在讲我研究了什么、我为什么要研究,还是我得出了什么结论。大模型只用来做第一遍整理,所有判断由人来下,而且第二位编码者只有权撤销别人打错的标记、无权新增。
④ 结果(发现了什么?)
三项检查的结果都不乐观,而且因为审核规则故意设计得偏保守,真实情况只会更严重、不会更轻。
说不清自己研究的是哪种系统
(91 篇里有 50 篇)
开头讲的系统
和实际研究的不是一回事
结论比证据
能支撑的范围更大
还有一个更有意思的发现:在那些说清楚了的论文里,被研究得最多的是黑箱系统,有 19 篇;今天到处都在用的大模型只有 11 篇;至于会自己动手办事的智能体系统,一篇都没有。
换句话说,这个领域的常识很大程度上是围绕一类特定的老系统建立起来的——那种关起门来用自家数据训练、只吐一个风险分数的模型。而现在政府里真正在铺开的东西,早就不长那个样子了。
作者还检查了时间趋势,发现这七年里不精确的比例没有变好。在五个公共价值里,关于政府到底有没有能力管好它这一类结论,被过度放大的情况最多。
⑤ 讨论(这些发现说明什么?)
为什么会这样?作者归纳出三个反复出现的坑。
第一个坑是词太大。像人工智能、算法、聊天机器人这类词,本身就横跨好几层。尤其是聊天机器人,十年前指的是按固定对话树走的程序,今天指的是大模型驱动的助手,界面看着一样,里子完全换了。用同一个词写论文,读者根本无法判断结论能不能搬到别的系统上。
第二个坑是从黑箱往外硬推。这个领域的奠基性文献大多写于 2019 到 2022 年,那时候最前沿的就是黑箱模型,于是很多所谓公理其实只对黑箱成立。比如常说训练人工智能需要海量高质量数据,可政府直接买来的大模型根本不需要自己准备训练数据;再比如常说黑箱不可解释所以当事人无法申辩,可大模型会输出一整段文字理由,这段理由本身就可以被检验,哪怕没人看得懂模型内部。
第三个坑是不经用。那些含糊其辞的结论,看起来适用范围广,其实技术一变就作废;反倒是当年老老实实写明我研究的是手写规则和黑箱这两类的论文,今天还能清楚判断它的结论能不能套到智能体身上。
⑥ 结论(最终结论 + 启示)
作者给出的补救办法很朴素:只要多问四个问题,就能把一个系统放进这五层里的某一层。这四个问题不需要看源代码,也不需要懂模型结构,凭公开资料就能回答。
他们同时给了一条更通用的判断口诀:在犹豫要不要写得更细时,问问自己——多写这一句,能不能区分开两个后果不同的系统?能,就写;不能,就省。
这项研究的意义不止于提醒学者写清楚。对政策制定者来说同样成立:当一份政府文件笼统地说我们要监管人工智能时,它到底在管哪一层,决定了这条规定是有牙齿还是一纸空文。作者也坦承局限:按引用量挑论文会偏向概念性和综述性的作品,也系统性地少收了最近两年的研究;再加上编码规则只允许撤销、不允许新增,报告出来的这几个比例是下限而不是上限。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
公共行政(PA)与数字政府研究在过去七年积累了大量关于 AI 在政府中应用的文献,但该领域普遍将 AI 作为单一范畴处理,未系统区分技术类别。作者指出这与该领域自身的核心关切相冲突:技术架构决定系统提供何种可供性(affordance),而可供性直接决定其对公共价值的影响。
既有分类体系无法承担这一任务。作者将其归为三类组织原则——按技术属性分类(OECD AI 系统分类框架、INSYTE 八维雷达图)、按应用领域与风险等级分类(欧盟 AI 法案的分层方案及其衍生监管分析)、按 AI 在决策中的角色分类(建议 / 分担 / 取代人类判断)。三者各自服务于监管或安全工程目的,在 PA 分析上分别表现为欠分(把公共价值后果不同的系统归为一类)、过分(在后果相同处过度细分)与功能-技术范畴混淆三种失效。
本文由此提出三项贡献,分别对应三个研究问题:(1)建立以可供性阈值为切分依据的五类技术类型学;(2)以 91 篇高被引论文为语料,实证测量技术不精确的普遍程度;(3)给出无需技术背景即可执行的诊断流程。
I. Theoretical Framework & Hypotheses(理论框架与假设)
理论骨架由两部分咬合而成:公共价值框架提供“何时需要技术精确性”的判据,可供性理论(Gibson 1979;Zammuto et al. 2007;Leonardi 2011)提供切分类别的组织原则。作者依 Stalenhoef et al. (2024) 的良好数字治理框架,将该领域的研究关切映射为五个公共价值维度:
| 维度 | 核心价值 | AI 相关解释 |
|---|---|---|
| 民主 | 参与 | 透明度:决策逻辑须可被公众与代议机构检视 |
| 法治 | 程序正义 | 可解释性:重大决定须被说明理由,使当事人能实质抗辩 |
| 法治 | 人权 | 非歧视:不得因受保护特征而差别对待,历史数据不得复制既有不平等 |
| 治理能力 | 治理质量 | 实施能力:国家须有能力部署与管理该系统 |
| 治理能力 | 责任 | 问责:公共行为须可归因于一个能被追究的主体 |
核心判据:当两个技术上不同的系统在上述任一维度上后果不同时,研究就必须提供足以区分二者的技术精度;否则不必。作者据此定义可供性阈值——只在“行动者能做什么”发生改变处划界,仅提升预测准确率的技术变化不构成阈值。
三种不精确形式在此框架下被形式化:欠指定(技术细节不足以还原可供性画像)、错置(以一类系统作动机却研究另一类)、过度概化(结论跨越了实证证据所在的系统类别)。
M. Materials & Methods(材料与方法)
- 类型学(五层,按可供性阈值切分):① 手写规则系统——决策规则以代码撰写而非从数据习得,对应系统级官僚制;② 玻璃箱系统——规则自数据习得但仍可被专家检视;③ 黑箱系统——习得逻辑不可检视,典型输出为风险分数或二元判定;④ 通用系统(GPAI)——外部训练的基础模型,控制权外部化、训练数据不可验证;⑤ 智能体系统——从产出结果转为自主行动,需运行时监督而非事后评估。跨层判据是可供性改变,而非精度提升。
- 语料构建:以 OpenAlex 对公共行政与数字政府核心期刊做系统检索,窗口
2019-2025;按“流别 × 年份”单元取当年最高被引论文。样本量由预注册的稳定性分析确定——逐步扩样并以 bootstrap 重抽样估计不确定性,当聚合估计落入预设容差走廊即判定充分,得K = 8篇 / 流别 / 年,初始 109 篇。 - 人工筛除:剔除仅把 AI 当方法工具(如用 AI 预测腐败)或未把 AI 作为经验 / 理论对象者,最终语料 N = 91。
- 编码单元:非整篇论文,而是论点条(strand)——对论文中某一关键主张的精炼摘述。每条标注三项元数据:(a)类型 = 经验 / 动机 / 结论;(b)所指系统在类型学中的位置,技术细节不足者编为
underspecified;(c)一个或多个公共价值维度。概念论文与文献综述以其主要举例或对 AI 的概念化作为经验条处理。 - 论文级操作化(any-mismatch 规则):任一经验条被编为欠指定 → 该论文欠指定;任一动机条援引的系统类型与所研究者存在实质性不符 → 错置;任一结论条超出其经验条所支撑的系统类型、且该落差影响主张效力 → 过度概化。
- LLM 辅助抽取:以
Gemini 3.1 Flash-Lite Preview对全文 markdown 做初步结构化,仅用于施加一致的预备结构;所有编码判断由人类编码者独立作出,且不接收 LLM 的分类建议。码本即抽取提示词,附录全文复现。 - 信度与裁定:10 篇全员试编码后细化码本,余篇随机分配独立编码。采用码本锚定的裁定程序:第二编码者复核每一条触发论文级旗标的 strand,只能撤销、不能新增旗标,残余分歧由第三作者裁决。148 条被旗标的 strand 中 128 条保留,20 条(14%)被推翻。因语料规模与逐篇编码成本,未做足以估计编码者间一致性的双编码子集,代之以功效分析。该设计使报告值成为保守下界。
R. Results(结果)
- 欠指定:91 篇中 50 篇(55%)在其全部经验性表述中,均未提供足以确定系统类别的信息。
- 错置:31% 的论文存在至少一处动机系统与实证系统之间的实质性错配;跨五个公共价值维度的发生率在统计上无显著差异。
- 过度概化:41% 的论文至少有一项结论超出实证所能支撑的系统范围;在数据量足以支撑统计判断的每一个格子内都检出显著比例。
| 指标 | 比例 | 分子 / 分母 | 说明 |
|---|---|---|---|
| 欠指定 | 55% | 50 / 91 | 无法定位到类型学任一层 |
| 错置 | 31% | — / 91 | 动机系统与研究系统不一致 |
| 过度概化 | 41% | — / 91 | 结论跨越实证系统类别 |
| 裁定推翻率 | 14% | 20 / 148 | 第二编码者仅可撤销旗标 |
- 研究对象的结构性倾斜:在完全指定的论文中,黑箱系统为最常研究类别(N = 19);通用系统仅 11 篇;智能体系统 0 篇——提及智能体者主要停留在概念层(如认知机器人)或指向物理自动化(如无人机),而非当代基于大模型的智能体。
- 时间趋势:七年窗口内不精确率未见改善。
- 维度差异:治理质量维度的结论最易被过度概化——该类主张涉及组织实施因素与任务适配,比其他维度更依赖具体技术形态;欠指定论文与泛指 AI 的论文更易过度概化,唯一例外是黑箱系统,其过度概化发生率同样偏高。
a / D. Discussion & Conclusion(讨论与结论)
- 坑一:泛化术语。AI、机器学习、算法决策、聊天机器人等词横跨多层。其一,宽词邀请过度概化;其二,词义本身有争议(有作者把 RPA 一类手写规则系统算作 AI,也有作者视 AI 与机器学习同义),以致连所研究者是否属于 AI 都存疑;其三,词的所指随技术演进而漂移——聊天机器人从对话树系统演化为通用模型驱动的智能体,界面未变而可供性尽变。
- 坑二:从黑箱系统过度外推。黑箱系统的可供性画像其实很窄:通常由各组织以自有数据分别训练、目的绑定、输出为数值或二元结果。以此为基座的结论常在三处失效——参与与程序正义类主张预设可解释性等于理解模型内部,而大模型输出的长文本本身可能包含可检验的理由,无需理解内部即具制度效力;治理质量类主张预设需自有高质量训练数据,而外购的通用系统根本不需要内部训练数据;责任类主张预设数据与训练均在组织内部,从而低估现代 AI 供应链中问责分配的复杂度。该偏差有历史成因:奠基文献多成于 2019-2022 年,恰在 2022 年通用化转向之前。
- 坑三:无法适用于智能体系统。含混主张看似适用面广,实则随技术更替迅速失效;反而明确标注了系统类型的研究,今天仍可清晰判断其结论能否外推至智能体。
- 建议:① 显式指明系统类型——依图 2 的四道诊断问题自上而下作答,即可将系统唯一映射到某一层,且各题均可由部署层面的公开信息回答,无需源代码或模型架构;② 以可供性试金石决定细节粒度——补上这一细节,是否能区分出两个可供性有实质差异的系统;③ 对基于大模型的系统应具体到版本名。
- 局限:(a)案例选择——按被引量抽样可能高估概念与综述类作品,并结构性地不利于近期研究,这可能部分解释通用系统与智能体系统的稀少;(b)编码——未获取可用精度的编码者间一致性系数,以功效分析替代;(c)保守的裁定设计意味着所报告的错置与过度概化发生率均为下界,未被捕获的漏检只会抬高真实值。
- 意义:技术精确性同时改善单项研究的内部效度与整个领域的知识累积;对政策制定者而言,一份笼统写着监管人工智能的文件,其真实约束力取决于它究竟落在这五层中的哪一层。
🧠 IRMaD 思维导图
mindmap
root((公共行政的AI技术类型学))
I 引言
政府都说自己用了AI
同一个词盖住五类系统
可查可告可问责各不同
既有分类为监管而非公管设计
R 问题
哪些技术差别真的重要
现有研究做到了吗
不懂技术的人怎么补救
判据是公共价值后果是否不同
M 方法
五层类型学按可供性切分
手写规则到智能体系统
映射五个公共价值维度
检索2019到2025高被引
每流别每年八篇共109篇
人工筛除后剩91篇
编码单元是论点条
大模型只做初步结构化
第二编码者只能撤销旗标
R 结果
欠指定55%即50篇
错置31%
过度概化41%
黑箱最常研究共19篇
通用系统仅11篇
智能体系统零篇
七年间不精确率没改善
治理质量结论最易放大
a 讨论
泛化术语横跨多层
聊天机器人所指已漂移
从黑箱外推三处失效
大模型无需自有训练数据
含混主张最不经用
D 结论
四道诊断问题定位系统
可供性试金石决定粒度
报告比例是下界
政策文件也要写清管哪层
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。