🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
做政策研究的人经常要面对一大堆文字：政府公文、会议纪要、给居民的回复邮件。想从里面统计出规律，第一步就是给每一条贴上标签——比如这封信是“说有空床位”还是“说没有”。
这件事听起来简单，做起来要命。一万条材料，两个人各标一遍、再比对分歧，可能要花几周。而且人还会累、会走神、标准会漂移。所以研究者一直在找更省力的办法。
大语言模型出现后，大家眼前一亮：能不能让它来干这个活？ 但公共政策领域的文字和一般新闻不一样——它更绕、更依赖背景、更常“话里有话”。模型到底行不行，得拿真材料试过才知道。
② 研究问题（要回答什么？）
研究问了三件事：
- 准不准：模型标出来的结果，和受过训练的人标出来的，能对上多少？
- 怎么问更好：在提示里给零个、一个还是两个示例，效果有差别吗？
- 贵不贵：便宜的小模型和贵的大模型，性价比差多少？
作者还顺手想解决一个实际问题：如果不想把一万条全标一遍才知道模型行不行，有没有办法先小规模试一下？他们的答案是：随机抽两百条做预试，用自助法算出置信区间，就能估计整体表现。
③ 研究方法（怎么做的？）
材料来自一项关于美国养老院的实地通信实验：研究者冒充潜在住户家属给养老院发咨询邮件，共收到一千五百二十八封回信，十万八千多字，平均每封七十一字。
作者定了五套标注标准，每封信都要回答五个问题：有没有空床位、费用能不能谈、有没有提到公民身份、有没有让你打电话、有没有给更多信息。
然后做两遍标注：
- 人：一位公共管理博士生和一位计算机专业本科生，接受同样培训，各自独立把全部邮件标完，再算两人之间的一致率——这个数字代表“这题有多主观”。
- 模型：用便宜的小模型和贵的大模型各跑一遍，每个任务分别试“不给例子”“给一个例子”“给两个例子”三种问法。
最后拿人和模型的结果对比，并用统计上的重抽样方法给出误差范围，避免把运气当成实力。
④ 结果（发现了什么？）
总体结论：平均一致率约百分之八十六（原文 86.25%），但不同题目差别巨大。
| 标注任务 | 人跟人一致率 | 模型最好成绩 |
|---|---|---|
| 有没有空床位 | 0.835 | 0.87（贵模型给一个例子） |
| 费用能不能谈 | 0.87 | 0.94（贵模型给两个例子） |
| 有没有提公民身份 | 0.975 | 0.99（两个模型都很高） |
| 有没有让你打电话 | 0.86 | 0.88 |
| 有没有给更多信息 | 0.86 | 0.80 |
规律很清楚：人跟人越容易一致的题，模型也越准；最主观的“有没有给更多信息”，模型只有约八成，还不如人的一致水平。
钱上面差距惊人：全量标注，便宜模型整套任务花零点三到一点六美元，贵模型要六到二十一美元。对一个上万条的项目，这个差距会被放大很多倍。
还有一个反直觉的发现：给例子不一定更好。有时候“不给例子”反而赢过“给两个例子”，说明提示策略得逐题试，不能照搬经验。
⑤ 讨论（这些发现说明什么？）
作者怎么看这个结果？
第一，模型不是万能的，但确实能干活。对于边界清楚的题（比如“有没有提到公民身份”），模型几乎和人一样准，可以放心用；对于要靠语气和上下文推断的题，模型会掉链子，必须人来兜底。
第二，“两个人之间都不太一致”的题，别指望模型。作者提出一个很聪明的诊断办法：先算人和人的一致率，如果连人都吵不清，那这题本身就需要重新设计编码标准，而不是换个模型就能解决。
第三，成本结构变了。过去标注贵在人力，现在贵在“设计提示和校验”。作者建议把省下来的钱花在抽检和纠错上——模型标完，人抽查一部分，把系统性错误改掉，比全部人工便宜得多。
局限也说得坦白：只测了一家公司的两个模型、一个领域、一种语言；模型版本会更新，今天的结论明天未必成立；而且“一致率”不等于“正确率”，人和模型可能一起错。
⑥ 结论（最终结论 + 启示）
作者给出了一套可以直接照做的流程：
- 第一步：人工标一小部分，作为基准；
- 第二步：随机抽两百条，让模型标，比较一致率并算误差范围；
- 第三步：如果一致率够高，就全量交给模型，再人工抽检纠错；如果不够，就改编码标准或换题。
一句话：把大语言模型当成一个便宜但需要监督的实习生，而不是当成不会犯错的专家。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
文本标注（text annotation）是公共政策质性研究的基础工序：政府公文、会议纪要、信访与通信实验回信都需按编码本逐条归类，进而支撑扎根理论与混合方法设计。其瓶颈在于成本——既有研究估计大模型可将标注成本降低 50%–90%，但公共政策文本语境依赖强、隐含意义多，通用结论能否迁移存疑。本文以美国养老院通信实验的 1,528 封回信为材料，系统比较 GPT-3.5-turbo 与 GPT-4 在五种标注任务、三种提示策略下与人工标注的一致率，并提出小样本预试 + 自助法置信区间的可操作评估流程。贡献有三：(1) 给出公共政策领域的首个多任务提示策略对照；(2) 提出以“人对人一致率”作为任务可自动化程度的先验诊断；(3) 公开全部成本数据，使成本—精度权衡可计算。
I. Theoretical Framework & Hypotheses（理论框架与假设）
本文为方法学论文，不设实质理论假设，其分析逻辑建立在三条方法学命题上：
| 命题 | 内涵 | 操作化 |
|---|---|---|
| 任务主观性先验 | 人类编码者间一致率越低，任务越依赖隐性判断 | 计算 coder1–coder2 一致率，作为 GPT 表现的上界预测 |
| 提示敏感性 | 示例数量（shot）对 LLM 表现的影响非单调 | zero-shot / one-shot / two-shot 三条件对照 |
| 成本—精度可分离 | 模型规模带来的精度增益可能不抵成本 | 按任务记录 token 成本，与 accuracy 并列报告 |
M. Materials & Methods（材料与方法）
- 材料：Xu & Lee (2023) 美国养老院 field correspondence experiment 的 1,528 封回信；总词数 108,621，平均 71 词/封。
- 编码本（5 任务）：Availability（是否有空床位）、Payable（费用是否可议）、Citizen Flag（是否提及公民身份）、Asking Call（是否要求电话联系）、More Info（是否提供更多信息）。
- 人工基准：两名编码者（公共管理博士生 / 计算机本科生），接受统一培训，独立标注全量数据；计算 coder1–coder2 一致率作为任务复杂度指标。
- 模型条件：GPT-3.5-turbo 与 GPT-4 × zero/one/two-shot，共 30 个条件；单一 prompt 模板含任务说明、示例、待标邮件；通过 OpenAI API 调用。
- 评估：以 coder1 标注为金标准计算 accuracy；对 n=200 随机子样本做 bootstrap（重抽样）给出 95% 置信区间，检验模型间差异是否稳健。
- 成本核算：记录各任务/模型/提示条件的 API 费用（Table 2）。
R. Results（结果）
整体：GPT 与人工标注平均一致率 86.25%。模型间总体差异不显著，但存在任务异质性。
| 任务 | 人—人一致率 | GPT-3.5 最佳 | GPT-4 最佳 | 解读 |
|---|---|---|---|---|
| Availability | 0.835 | 0.86 (0-shot) | 0.87 (1-shot) | 中等难度，模型略优于人—人一致 |
| Payable | 0.87 | 0.91 (0-shot) | 0.94 (2-shot) | 模型显著更优 |
| Citizen Flag | 0.975 | 0.98 (1-shot) | 0.99 (all) | 近似确定性任务，可全自动化 |
| Asking Call | 0.86 | 0.88 | 0.88 | 稳定 |
| More Info | 0.86 | 0.80 (1-shot) | 0.80 (1/2-shot) | 低于人—人一致，需人工兜底 |
提示效应非单调：two-shot 在 GPT-3.5 的 More Info 任务上仅 0.56，显著低于 zero-shot 的 0.69——示例反而引入锚定偏差。
成本（全量 1,528 封）：GPT-3.5-turbo 单任务 0.30–1.56 美元，GPT-4 为 6.05–21.41 美元；GPT-4 相对 GPT-3.5 的成本倍数约 10–20 倍，而精度增益多在 0–5 个百分点。
a / D. Discussion & Conclusion（讨论与结论）
- 可自动化程度的分层：以人—人一致率为先验，可将任务分为三档——高一致（>0.95，如 Citizen Flag）可全自动；中一致（0.85–0.95）可自动 + 抽检；低一致（<0.85）应重构编码本而非依赖模型。
- 提示工程的边界：示例并非越多越好，示例与目标样本的分布偏移会引入锚定误差；应把 shot 数当作需逐任务调参的超参数。
- 成本结构转移：人工成本被 API 成本替代后，节省的预算应重新配置到抽检、纠错与编码本迭代，而非直接削减方法学投入。
- 效度警告：一致率 ≠ 正确率。人与模型可能共享同一系统性偏差（如对隐含语义的一致误读），因此金标准本身需要独立验证。
- 局限：单一语言（英语）、单一领域（养老院通信）、单一厂商模型；模型版本迭代快，结论具时效性；未报告 kappa 等 chance-corrected 指标，percentage agreement 在类别不平衡时会高估一致性。
- 实践建议：采用“小样本预试（n≈200）+ bootstrap CI + 分层自动化 + 抽检纠错”的四步流程，将 LLM 定位为受监督的标注助手。
🧠 IRMaD 思维导图
mindmap
root((大模型文本标注))
I 引言
手工标注费钱费时
政策文本话里有话
通用结论未必可迁移
R 问题
模型准不准
提示怎么给更好
成本差多少
M 方法
一千五百二十八封邮件
五套编码标准
两名人工编码者
大小模型三种提示
R 结果
平均一致率八成六
公民身份题接近九成九
更多信息题仅八成
示例多不一定更好
便宜模型省十到二十倍
a 讨论
主观题别指望模型
一致率不等于正确率
省钱要花在抽检上
D 结论
先抽两百条预试
分层决定自动化
人工抽检纠错
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。