🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
美国联邦政府早就在用自动化系统做决定了:谁能领到福利、谁的包裹要开箱、谁会被列进遣返名单。这些决定背后往往有算法在跑,但公众想看明白它们,只能去翻三类完全不同的公开文件。
第一类是记录系统通告,七十年代为了保护隐私而立,要求政府部门在建立或改动含个人信息的数据库时登报说明。第二类是信息收集申请,源自减少文书负担的法案,部门向公众收集数据前得先报批。第三类是近年才有的人工智能用例清单,专门要求各部门每年公开自己在用哪些人工智能系统。
这三套制度当初各管各的事,谁也没想过要互相配合。结果就是,同一套系统可能在三份文件里被叫三个名字,描述的角度也完全不同。对想追查某个系统的记者或研究者来说,这就像要在三本不相干的账本里对照同一笔钱。
② 研究问题(要回答什么?)
这篇论文想问的是:这三套现成的披露制度,单独看能告诉我们多少?合起来看,又能多知道些什么?
更具体地说,作者关心三个层面。第一,每套制度在什么条件下会把一个系统标成“和人工智能有关”,标得准不准。第二,同一套系统在不同制度里留下的记录,能不能被可靠地认出来是同一个东西。第三,如果能认出来,拼在一起的信息是不是就足够让公众监督了。
作者特别强调,他们不是要另起炉灶设计一套新制度,而是想知道现有的这套家底还能不能修补。这个立场很重要,因为美国联邦层面并不缺披露义务,缺的是这些义务之间的接口。
③ 研究方法(怎么做的?)
这项研究的第一步,是把散落在三个官方渠道的公开记录全部收集起来。作者从联邦公报接口取回三千七百多份记录系统通告,时间跨度从二零一零年到二零二五年;从监管信息门户取回三万七千多份信息收集申请,覆盖二零一八年一月到二零二六年三月;再加上三个财年的人工智能用例清单,条目从七百多条涨到三千五百多条。
接着是筛选。通告和信息收集申请本身不会写“这是人工智能”,作者让一个大语言模型逐份判断,并要求它摘出原文里的证据短语。为了知道模型靠不靠谱,他们随机抽了一百二十二份被标为相关的通告人工核对,确认率约七成;又抽了一百份信息收集申请,确认率约七成五。
最难的一步是把不同制度的记录对上号。三套文件没有共同编号,用词也不一样。作者的流水线分四步:先用词频和机构名等信号,为每份记录挑出二十个最像的候选;再按机构、系统名、供应商、语义相似度打分;然后把高分候选交给模型判断是同一系统、有数据依赖,还是无关;最后把确认的链接聚成簇。他们还抽了三百对样本人工核对,同一系统的判断准确率约八成五。
④ 结果(发现了什么?)
把三套制度摆在一起,最直接的发现是它们几乎不互相引用。五百多份被判定与人工智能相关的通告里,只有十四份在任何一份信息收集申请中出现过,占不到百分之三;清单里的条目更是只有两条提到过通告编号,而且都指向同一个边境系统。
作者用自动链接又试了一次。即便放宽标准,允许机构自己都没承认过的关联,能确认为同一系统的记录对也只有四百多对,大约相当于每类语料里两成的记录。剩下八成到九成七的文件,在其他制度里都找不到对应物。
两个案例说明拼起来到底能多看到什么。边境的风险评估系统在通告里被描述成一个查数据库的工具,二零二五年却已经有十个机器学习模型在它里面跑,其中四个被列为高影响;另有一百六十多份信息收集申请把它写成数据下游的处理方。而那个人脸识别手机应用,只在清单里出现过,通告和信息收集申请里都查不到名字。
⑤ 讨论(这些发现说明什么?)
作者认为,这些缺口不是哪个部门偷懒,而是每套制度从出生那天起就带着自己的行政使命。通告是为了保护隐私,关注的是数据怎么存;信息收集申请是为了控制文书负担,关注的是收集行为本身;只有清单是奔着人工智能来的。
于是三种毛病反复出现。第一是时间错位:清单一年才更新一次,系统可以先上线好几个月才见于纸面。第二是颗粒度不一:有的文件写了几百字的风险分析,有的只留一句“进行中”。第三是任务漂移:一个系统最初被描述成简单的查询工具,后来悄悄长出新的能力,而旧文件不会因此重写。
作者还指出,用“人工智能”“机器学习”这类词去搜,几乎是必然低估的——在三千多份通告里,“人工智能”只出现在六份里。真正能搜到东西的,是“风险评估”“自动目标筛选”这类功能性说法。这说明词汇差异本身就在制造盲区,而不只是记录缺失。
⑥ 结论(最终结论 + 启示)
作者的建议集中在人工智能用例清单上,理由是它最贴近“给公众看”这个目标,而且还在成长期,改起来阻力小。
具体有几条。第一,把清单长期做下去——按现行法律,它的法定要求到二零二七年就到期了。第二,删掉定义里“主要依据”这个限定词,别让部门靠它把系统排除在外。第三,给每个系统一个稳定编号,并在通告和信息收集申请里互相引用。第四,恢复公开的风险管理问答,二零二五年的清单虽然问了影响,却没有公开任何回答。此外还建议把清单做成可检索、可存档的网站。
作者也承认,即便全部照做,链接起来的记录仍不足以替代调查报道已经揭出来的那些问题。透明度只是监督的起点,不是终点。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
美国联邦机构已在移民执法、边境管控、福利资格、医疗诊断等高风险场景部署人工智能系统,但公众可见的披露分散在彼此独立的行政登记册中。本文选取三套现行制度:依《隐私法》(1974)产生的记录系统通告(SORN)、依《文书削减法》(1980,1986/1995 修订)由 OIRA 审核的信息收集申请(ICR),以及依 EO 13960、《推进美国人工智能法》确立并经 OMB M-24-10 与 M-25-21 修订的人工智能用例清单(FY2023–FY2025)。
既有研究分别考察过采购记录(Wang et al. 2022)、商标申请(Levendowski 2021)、拨款公告(Bateyko and Levy 2025)等“非为 AI 透明度而设”的行政登记册,共同结论是:有实质影响的治理活动往往发生在不以 AI 透明为目的的登记册里。本文的增量在于把三套制度放在同一分析框架下做跨文档实体解析,并回答两个问题:单一制度看不见的东西,跨制度互证能否补上;若能,补上的部分是否足以支撑公众监督。
作者的核心论点是:三套制度共享零个系统标识符,术语由各自的行政逻辑塑造,因此“看不见”是结构性的而非执行性的;据此,改革应落在最贴近公众目标、且仍处于制度成长期的那套机制上,而非重建整套披露基础设施。
I. Theoretical Framework & Hypotheses(理论框架与假设)
文章的理论资源有两条线。一条是透明度与算法问责研究:透明度被视为人工智能治理的基础(Jobin et al. 2019),在政府部署场景下更是纠正信息与权力不对称的关键机制(Hickok 2024),因为个体无法退出被算法处置的状态。但 Ananny 与 Crawford(2018)提出的“看见却不知道”提醒,公开本身不等于可治理;算法影响评估因此被寄望于把规范性目标操作化(Reisman et al. 2018; Selbst 2017, 2021),其方法论争议集中在测什么、由谁参与(Watkins et al. 2021; Metcalf et al. 2021)。本文所研究的清单恰恰把影响评估嵌进了高影响系统的风险管理字段。
另一条是方法线。作者把跨制度配对建模为跨文档实体解析(Beheshti et al. 2017):判定文本上并不相似的记录是否共享同一现实指涉,并沿用候选检索—概率打分—模型重排—聚类—评估的五步范式(Jain et al. 2024; Zhao et al. 2023)。据此提出“三角互证”作为分析策略:当三套制度对同一对象各自只给出局部投影时,交集与差集本身就是发现。
框架的落点是把每套制度的披露弱点回溯到立法初衷——隐私保护、文书负担控制、AI 专门披露——从而把“披露不足”解释为制度设计的路径依赖,并为“改哪一套、怎么改”提供依据。
M. Materials & Methods(材料与方法)
语料与规模见表 1。SORN 取自 Federal Register API(2010–2025);ICR 抓取自 reginfo.gov(2018 年 1 月至 2026 年 3 月,31,670 份含支撑文件,共 253,304 个文件、171,560 份纯文本);AI 用例清单覆盖 FY2023–FY2025,按 45 字段规范模式统一(2025 年 26 份机构映射中 20 家沿用 OMB 模板、6 家全自定义)。
| 制度 | 覆盖期 | 检索单元 | 总量 | AI 识别方法 | AI 相关记录 |
|---|---|---|---|---|---|
| AI 用例清单 | FY2023–FY2025 | 机构上报的用例条目 | 710(2023);2,071(2024);3,542(2025) | 机构自行上报 | 全部条目 |
| 记录系统通告 | 2010–2025(联邦公报) | 已发布通告 | 3,735 份(全文可得) | 零样本大模型分类 | 554(14.8%) |
| 信息收集申请 | 2018-01–2026-03(OIRA) | 信息收集申请 | 37,871 份;31,670 份含支撑文件 | 两段式关键词过滤 + 零样本分类 | 1,146 / 3,378(33.9%) |
分类环节两套制度均用 gpt-5.4-mini 经 OpenAI Batch API 做零样本判定。SORN 提示词要求输出分类标签、is_ai_related、ml_explicitly_stated、confidence 与逐字证据,判据是“系统自身是否执行匹配、评分、识别、预测或风险研判”,而非是否提及数据库或摄像头;人工复核 122 份被标记者,确认 85 份(69.7%),误标 37 份(30.3%)。ICR 先经两段式过滤(文件名或结构标题匹配支持声明/PIA/PTA/SORN/AIA,再匹配 22 个 AI 词项、五大类),得 3,378 份 ICR 下 5,670 份候选文档,模型在文档层判定、ICR 层汇总;复核 100 份,确认率 75%。
链接分四步(表 2):候选检索对每份记录取跨制度 top-20,检索分为 0.5·TF-IDF + 0.2·同机构 + 0.3·命名实体;综合分为 0.25·机构 + 0.25·系统名 + 0.30·命名实体 + 0.15·语义 + 0.05·TF-IDF,阈值经 8 组显式互引的 SORN–ICR 对校准(超过 0.62 进重排、0.30 至 0.62 为边缘、低于 0.30 拒绝);重排模型输出 link/related/uncertain/no_link 并摘录原文证据;确认的 link 以组平均层次聚类(阈值 0.7)合并,related 保留为数据依赖边,跨机构传递链接由此自然恢复。评估集按三层各抽 100 对、单一作者标注,准确率 85%、51%、100%。
| 环节 | 关键设定 | 评估依据 | 准确率 |
|---|---|---|---|
| 候选检索 | 每份记录取跨制度 top-20;0.5 TF-IDF + 0.2 机构 + 0.3 命名实体 | — | — |
| 概率打分 | 0.25 机构 + 0.25 系统名 + 0.30 命名实体 + 0.15 语义 + 0.05 TF-IDF;0.62 与 0.30 双阈值 | 8 组显式交叉引用校准 | — |
| 模型重排 | link / related / uncertain / no_link,须摘录双方原文证据 | 每类 100 对,单一标注者 | link 85%;related 51%;no_link 100% |
| 聚类 | 组平均层次聚类,阈值 0.7;related 保留为依赖边 | — | — |
R. Results(结果)
(1)显式交叉引用的稀缺。554 份 AI 相关 SORN 中仅 14 份(2.9%)出现在 ICR 语料中,若只比对 AI 相关 ICR 则降至 8 份(1.6%);清单条目中仅 2 条引用 SORN,且均属 DHS 的自动目标筛选系统(ATS)。用关键词直搜更能说明问题:3,735 份 SORN 中“artificial intelligence”仅命中 6 份、“machine learning”4 份,而“algorithm/algorithmic”34 份、“risk assessment”90 份、“automated targeting”30 份,合计 227 份(6.1%)含任一配置词;零样本分类在全文条件下识别出 554 份(14.8%)。此外,20 条清单记录能匹配到相应 SORN,但无一份 SORN 含 AI 术语。
(2)链接后的覆盖率仍然很低。链接语料为 554 份 SORN、1,146 份 ICR 与 5,268 条清单条目(方法节另记 4,558 条)。确认同一系统的记录对 446 对,约相当于各配对语料中较小一侧的两成;另有约 15,000 对判为存在数据流或共享组件。无任何跨制度链接的文件占比为:SORN 80%(443/554)、清单 97%(2,110/2,166)、ICR 82%(943/1,144)。
(3)案例一:ATS。治理该系统的 DHS/CBP-006 通告首发于 2006 年,把 ATS 描述为“对货物或个人信息的规则化查询”;2012 年扩充十余个数据源(含 FBI 恐怖分子筛查库)但保留原词汇,此后未实质更新。2025 年清单却披露 ATS 内部或上游运行 10 个机器学习模型,其中 4 个为高影响(Passenger Security Assessment Model、Cargo Security Assessment Model、Illicit Trade、Traveler Entity Resolution),2 个直接对旅客打分并使用性别、年龄等人口变量,2 个供应商为 ManTech,其余自研;SORN 全文不含“artificial intelligence”“machine learning”“algorithm”。另有 166 份 ICR(多来自 CBP 与 USCIS)把 ATS 写成数据下游处理方,2 份 CDC 记录明确写“由 DHS 自动目标筛选系统处理”,ATS 子图由初始种子扩展出近 200 条相连记录。
(4)案例二:Mobile Fortify。该人脸识别与指纹比对应用仅见于 2025 年清单,披露 CBP 与 ICE 两个已部署高影响用例,风险管理字段均标注“进行中”,并引用“TVSI”“ATS-C”两个未定义缩写;SORN 与 ICR 语料中均无其名。调查报道披露的 2025 年 2 月隐私阈值分析显示,CBP 与 ICE 认定既有文件“覆盖充分”,即缺少专门通告属刻意判断而非疏漏。
(5)清单的纵向变化。2023→2024 匹配:精确 183、模糊 36,415 条消失、1,859 条新增;2024→2025:精确 1,044、模糊 179,833 条消失、2,251 条新增;1,227 条跨两年可比,2,247 条 2025 年首次出现,823 条 2024 年有而 2025 年无,710 条中仅 104 条连续三年在册。高影响用例中,14 条无申诉程序,至少 2 条未回答是否完成 AI 影响评估。
a / D. Discussion & Conclusion(讨论与结论)
作者把三类反复出现的失败模式归结为制度设计:时间错位(清单年度周期,系统可先上线数月)、颗粒度不一(同类字段长度与深度差异极大)、任务漂移(系统能力扩张而旧披露不重写)。三者都可回溯到各制度的初始行政目的——隐私法管数据存储、文书削减法管收集负担、AI 备忘录才管 AI 能力——因此是结构性的。
政策建议以“让清单长期存续”为总前提:依 40 U.S.C. 2022,清单的法定要求将于 2027 年到期。其余五条为:删除高影响定义中“principal basis”限定(2024 年澄清曾使条目由 710 增至 2,133,2025 年机构借该词回缩);建立持久系统标识符并支持版本号,且在 SORN/ICR 中互引;恢复公开风险管理问答(2024 年 VA 的 STORM 条目用 367 词回应 7 类风险,2025 年虽设问却未公开任何回答);按高影响与否裁剪问题;将清单归档并提供可检索界面(现有政府站点在政权交接中已有消失案例)。
局限与张力值得注意:链接评估由单一作者标注,未报告编码者一致性系数,“related”一类准确率仅 51%,说明数据依赖边的结论应谨慎使用;SORN 分类误标率 30.3%,ICR 复核确认率 75%,两套零样本判定的误差方向不同;正文与表 1 在 2024 年清单条目数(2,133 vs 2,071)、链接语料规模(5,268 vs 4,558 条清单条目、554 vs 591 份 SORN)以及 ICR 计数(1,144 vs 1,146)上存在内部不一致,本文按表 1 与方法节口径引用并标注。作者亦承认,即便全部改革落地,链接后的记录仍不足以替代调查报道所揭示的监督缺口。
🧠 IRMaD 思维导图
mindmap
root((联邦AI披露三角互证))
I 引言
联邦AI系统影响权利
披露分散三套制度
记录系统通告
信息收集申请
人工智能用例清单
R 问题
单套制度能看清什么
跨制度互证增量
链接是否可被机器复现
M 方法
三类语料近五万份
零样本模型初筛
人工抽检核准确率
候选检索与打分
模型重排与聚类
R 结果
交叉引用近乎为零
两成记录可确认同源
边境系统十个模型
人脸识别应用仅清单可见
a 讨论
缺口源于行政初衷
时间错位与颗粒度
任务漂移
关键词搜索系统性低估
D 结论
改用例清单长期存续
删主要依据限定
建稳定系统编号
恢复公开风险问答
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。