🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
美国的地方政府常常互相签合同,把警务、道路养护、消防、监狱这些活儿交给邻居去办。这种合同在艾奥瓦州尤其常见,因为州法律要求所有合作协议都得先报州务卿备案才算数,于是从一九九三年到二零二零年,攒下了两万一千多份。
这批档案大到足以看清整个州的合作格局,可它们全是一份份扫描出来的纸质合同,有的还盖着章、带着手写签名,电脑既读不懂,也很难一张张人工去看。
过去的研究大多只能把两个政府之间的合作记成一个点和一条线,至于这条线到底是什么关系,谁出钱、谁干活、每个月付多少,基本没人说得清。这就是这篇论文要解决的问题。
② 研究问题(要回答什么?)
这篇论文想回答的是能不能用一套自动化流程,把两万多份地方政府合同全部读懂,并读出其中最要紧的两件事。第一件是这份合同属于哪一种制度形式,是买服务、共用资源、联合运营,还是干脆成立一个新机构。第二件是合同里的钱从哪里来、到哪里去,也就是谁当甲方付钱、谁当乙方干活,一共付了多少。
作者还想知道,如果真能批量读出这两件事,会看到什么样的结构。是不是有那么几个政府在给全州提供服务,是不是有一批政府永远只在掏钱。这些问题过去也有人问,但因为没有数据,只能停留在猜测。
③ 研究方法(怎么做的?)
作者把这件事拆成四步来做:先把扫描件变成文字,再让大模型给合同分类,然后用传统机器学习把准确率提上去,最后把钱和人的关系连成一张网络。
第一步是文字识别。作者拿一百份自己人工抄好的合同当标准答案,发现一种工具把错误率压到不到一成,另一种还在两成,于是选了前者。
第二步是分类。合同太长,先让模型压成三五句话的摘要,再让它判断这份合同属于四类里的哪一类。作者横向比较了三家不同公司的大模型,还试了不给例子、给一个、给三个三种问法。
第三步是把摘要变成一串数字,再喂给逻辑回归、支持向量机这些老牌分类器。第四步是从被判为服务合同的文档里抽出谁付钱、谁干活、付了多少,把两万一千多份里的一部分连成一张有方向的图。
④ 结果(发现了什么?)
在分类这一步,表现最好的组合准确率达到八成二,其中服务合同这一类几乎不会认错,专门的得分是零点九二。相对难分的是资源共用和联合运营,因为这两类在文字上常长得像。
再说钱。作者抽了一百份服务合同人工核对,九成六的抽取结果是对的。把全部协议里被判为服务合同的挑出来,连成一张一千六百多个节点、三千多条边的图。这张图非常稀疏,密度只有千分之一出头,说明绝大多数政府只和少数几个邻居打交道。
最显眼的规律是,市政府把八成四的合同都给了县政府,主要是警务和道路。县政府自己两头都做,既买也卖。特别区则像个打杂的,规模小、方向窄,多数时候得靠市和县。
⑤ 讨论(这些发现说明什么?)
作者认为,这张图讲的不是大家互帮互助,而是分工有高低。县政府坐在枢纽的位置上,一边向别人买自己缺的专业能力,一边给那些撑不起某项服务的市镇兜底。市政府看起来是合作的主角,其实多数时候只是买方。特别区被自己的法定职能框住,只能在很小的范围里买卖。
对公共管理研究来说,这套流程的价值不在于提出新问题,而在于让老问题第一次有了能回答的数据。比如哪些政府被系统性地排除在合作之外,财政紧张时合作会不会变形,坐在网络中心的位置和公共服务的好坏有没有关系。
作者也提醒,分类和抽取都有误差。被判为服务合同的文档里大约有一成是误判,金额和当事人的抽取错误率是百分之四。这些误差会顺着网络一路传下去,所以结论应该看成方向性的判断,而不是精确的账本。
⑥ 结论(最终结论 + 启示)
这篇论文最后交出三样东西:一套可以复用的处理流程、一份把艾奥瓦州两万多份协议全部分好类的数据集,以及一张第一次带方向的政府间资金流动图。
作者说,这套流程并不只对艾奥瓦有用。别的州虽然备案没那么全,但只要有一部分档案,同样可以套进去;再往远看,任何一大批法律或行政合同的文本,都能用类似的办法变成能统计的数据。
下一步他们想做两件事。一是把时间维度加进来,看看二十多年里这些资金关系是怎么变的;二是把流程推广到更多州,做跨州比较。代码、标签和网络数据都已经公开。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
跨地方政府协议(interlocal agreements, ILAs)是美国地方公共服务供给的主要制度工具之一。艾奥瓦州《法典》第 28E 章要求所有合作协议在生效前向州务卿备案,这一强制登记制度造就了全美唯一接近全样本的协议档案:1993—2020 年间共 21,629 份,覆盖 33 个服务领域。既有研究受制于文档的非结构化与噪声,长期把 ILA 处理为无向二值连边,将资源共用、服务外包、联合运营与设立新法人实体四种制度形式压缩为同一种“合作”。
本文的贡献有三。其一,提出一套端到端流水线,把制度形式分类与委托—代理财务抽取串接起来,并在全部 21,629 份文档上落地。其二,给出可复现的方法组合,正面处理噪声、类别不平衡、超长文档与小样本标注四类困难。其三,首次以有向加权网络刻画地方政府间的资金流,边由委托方指向代理方、以合同金额为权重,使“谁买、谁卖”成为可测量的结构问题。
I. Theoretical Framework & Hypotheses(理论框架与假设)
制度形式的分类框架沿用 Morse and Abernathy(2014)对 ILA 的四分法,其理论含义在于风险分担、权威让渡与治理需求的深度差异:资源共用是最轻的承诺;服务合同建立明确的委托—代理关系;联合运营是持续的共同生产;新联合实体是最高程度的制度化,参与方共同设立独立法人。
在财务结构上,委托—代理理论给出若干可检验的预期。第一,网络应呈现明显的类型分层,即市政府多为委托方,县与特别区多为代理方。第二,服务合同是不对称交易,互惠性(reciprocity)应显著低于随机配置模型的期望。第三,同类型政府之间应存在较强的 assortativity,即市与市、县与县更可能结对。第四,地理邻近与职能相同应显著提高结对概率。
作者以配置模型零假设作为判据:保留每个节点的入度与出度,随机重连 1,000 次;凡观测值落在零分布之外即视为结构性事实,并以双侧经验 p 值与 z 值共同刻画效应大小。潜在角色结构则交给加权层次随机块模型(SBM),不预设块数,由最小描述长度(MDL)判据自动选择。
M. Materials & Methods(材料与方法)
语料与人工标注。全样本 21,629 份(1993—2020,33 个服务领域)。人工标注 1,128 份,构成为服务合同 589、联合运营 250、新联合实体 157、资源共用 132;平均文档长度为服务合同 12.4k 词、联合运营 17.7k、新联合实体 16.2k、资源共用 11.5k。编码分两阶段:先由两名编码员独立标注子集以打磨编码手册,再按定稿规则独立标注其余文档。作者报告编码员一致率在试点阶段高于 95%、规则稳定后达 99%,分歧通过讨论与集体共识解决;未报告 Cohen's κ,因此无法校正一致率受类别不平衡抬高的可能。
OCR。以随机抽取的 100 份人工转写文本为参照,GOT 的字符错误率(CER = (S+D+I)/(S+D+C))为 20%,SURYA 为 8.7%;差值 11.3 个百分点,95% 置信区间 [1.9, 20.7] 个百分点(Z 取 1.96,n=100),故采用 SURYA 输出。
三级分类。阶段一用统一提示词让模型把每份合同压缩为 3—5 句摘要并保留关键实体与义务,同时附上合同目的段;阶段二在摘要上做零样本、单样本、三样本的思维链(CoT)分类,模型为 Llama 3.1 70B、GPT 5.2 Pro、Gemini 3 Pro,要求只返回 JSON;阶段三把摘要送入嵌入空间,用逻辑回归、线性核/RBF 核/多项式核 SVM、Ridge、ExtraTrees 与 MLP 做分类,按 80% 训练、20% 测试划分,五折分层交叉验证(StratifiedKFold, shuffle=True),class_weight=balanced,并对标准化、PCA(保留 95% 方差)与各模型超参做网格搜索。
财务抽取与建网。仅服务合同具备清晰的委托—代理结构。用 GPT-5.2 Pro 逐份抽取委托方、代理方与金额,周期性付款由模型求和为合同总值;抽取 100 份服务合同人工核验,96% 正确(错误率 4%)。机构名经 RapidFuzz 模糊匹配(相似度阈值 87)合并 349 组别名,得 1,642 个规范节点,并对频次最高的 100 个机构人工复核。网络统计量:节点 1,642、有向边 3,234、密度 0.0012、互惠 0.1600、传递性 0.0183、出度中心势 0.1080、中介中心势 0.2492。
R. Results(结果)
分类性能。思维链直接作答的最佳结果为 GPT 5.2 Pro 单样本,加权 F1 = 0.74(宏平均 0.73);Llama 3.1 三样本 0.71,Gemini 1 样本 0.68,零样本整体最弱(宏平均 0.55—0.71)。改用嵌入加浅层分类器后,GPT 嵌入 + RBF 核 SVM 达准确率 0.82、加权 F1 0.82、宏平均 0.72,为流水线实际采用方案;Llama 嵌入 + 逻辑回归 0.77,Gemini 嵌入 + 多项式核 SVM 0.76。三类方案呈同一梯度:服务合同最易(F1 = 0.92,精确率 0.89、召回 0.95),资源共用最难(F1 = 0.61),联合运营 0.65,新联合实体 0.68(精确率高达 0.92 但召回仅 0.54)。
| 嵌入来源 | 最佳分类器 | 准确率 | 加权 F1 | 宏平均 F1 |
|---|---|---|---|---|
| GPT | RBF 核 SVM | 0.82 | 0.82 | 0.72 |
| Llama 3.1 | 逻辑回归 | 0.77 | 0.77 | 0.66 |
| Gemini | 多项式核 SVM | 0.77 | 0.76 | 0.74 |
| GPT(CoT,单样本) | 直接提示 | — | 0.74 | 0.73 |
二方结构。在仅保留县、市、特别区作为委托方的 2,726 条服务合同边上:市→县占市合同的 84.5%(1,577 份,均值 206,029 美元),集中于警务保护与道路系统;市→特别区仅 2.5%,但均值高达 2,652,138 美元,主要由市与学区的教育合同驱动。县作为委托方近乎均分:县→县 37.6%(均值 200,968 美元)、县→市 37.7%(235,860 美元);县→州机构 10.7%。特别区作为委托方的 58.2% 流向市,20.3% 流向县。全网络 3,234 条边中有 1,420 条(44%)超过 1,000 美元,却覆盖 99% 的美元总额。
零模型与块结构。四项属性全部落在 1,000 次保度重连的零分布之外(p < 0.001):地理同县聚类 0.23(零均值约 0.01,z = +135.9)、服务类型同质性 0.41(约 0.08,z = +72.7)、互惠 0.160(约 0.02,z = +51)、机构类型 assortativity −0.04(z = −4.0)。前两项符合预期;后两项的方向与委托—代理理论的直觉相反——互惠远高于随机,且资金比随机更频繁地跨越组织类型。加权层次 SBM 在 MDL 判据下给出 8 个基础块并向上合并为 4 组:4 块净流出(委托方)、4 块净流入(代理方)。最小块 93 仅 83 个机构,净流入 199.9 百万美元,是全场最大的资金吸收者;最大块 40(211 个机构)净流出 244.9 百万美元。块成员与政府类型、地理位置均不对应,说明资金角色是独立于身份的结构位置。跨块流量占据矩阵绝大部分,系统是整合的而非分簇的。
| 属性 | 观测值 | 零模型均值 | z 值 | 判断 |
|---|---|---|---|---|
| 同县地理聚类 | 0.23 | ≈0.01 | +135.9 | 远高于随机,符合预期 |
| 服务类型同质性 | 0.41 | ≈0.08 | +72.7 | 远高于随机,符合预期 |
| 互惠性 | 0.160 | ≈0.02 | +51 | 高于随机,逆转理论预期 |
| 机构类型 assortativity | −0.04 | 更接近 0 | −4.0 | 低于随机,逆转理论预期 |
a / D. Discussion & Conclusion(讨论与结论)
作者把发现概括为“稀疏、不对称、由少数枢纽组织”。县政府在结构与二方层面都最灵活:既购买专门能力,又为无力自给自足的市镇兜底;市政府以买方为主,对县的公共安全与基础设施供给存在结构性依赖;特别区受法定职能约束,处在外围且规模有限。这些位置差异直接关系到问责如何分布,而此前的对称表示对此完全不可见。
方法上的分工建议是本文的第二重贡献。无标注数据时,思维链提示即可达到可用精度,但成本高、且类别间可靠性不均(新联合实体精确率 0.92、召回 0.54),人工验证不可省略;一旦有数百份标注,嵌入加浅层分类器能以低得多的成本取得更高精度。作者据此主张把大模型视为可按数据条件组合、可逐级验证的组件,而不是单一工具。
局限与不确定性:服务合同类的精确率为 0.89,约每十份被判为该类的文档中有一份假阳性;金额与当事人的抽取错误率为 4%;两者都会沿建网流程逐级放大。编码一致性只报告一致率而无一阶统计量,类别不平衡下宏平均(0.72)明显低于加权指标(0.82)。语料限于艾奥瓦一州且止于 2020 年,向备案不全的州推广需先处理方法学上的缺失数据问题。代码、标签与网络数据已匿名公开于 anonymous.4open.science/r/iowa-28e-pipeline-85AF;资助来自 MassMutual 复杂系统中心(FP2860)、Sloan 基金会(G-2024-22498)与 NSF(2242829)。
🧠 IRMaD 思维导图
mindmap
root((地方政府合同的可读化))
引言
两万一千份协议档案
四种制度形式难分辨
过去只能人工编码
问题
合同内容能否批量读懂
谁出钱谁干活
资金流向什么结构
方法
扫描件文字识别
大模型摘要加思维链
嵌入加浅层分类器
模糊匹配合并机构名
结果
分类准确率八成二
服务合同最易分辨
一千六百节点资金网
县政府居中做枢纽
讨论
分工有高低的层级
互惠高于随机预期
块结构与身份无关
误差沿网络传播
结论
流程可跨州复用
数据集与代码公开
下一步加时间维度
未来做跨州比较
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。