🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
假设你要研究新闻里怎么谈最低工资，手上有几万篇文章。传统做法是请人一篇篇读，按一本“编码手册”贴上标签：这篇讲价格、那篇讲政府、另一篇讲社会公平。编码手册就是一份写清楚“什么算价格、什么算政府”的说明书，有了它，不同的人才能按同一把尺子量。问题是人工太慢、太贵，于是一个很自然的想法出现了：让大语言模型来当这个“助教”，把手册塞进提示词，它就能飞快地给海量文本贴标签。
已经有不少论文报告说，这样做的效果很好，模型和真人判断的一致率很高。听上去皆大欢喜。但这篇论文的作者觉得不对劲：如果只看“平均分”，很多问题会被盖住。就像一场考试，全班平均 80 分，听起来不错，可要是有一道题几乎人人都错，这个平均分就骗了你。在内容分析里，某些标签对应的文章可能很少，模型对它们几乎全错，但因为它们在总数里占比小，平均分依然漂亮。
更麻烦的是，标签不是随便贴的，它们最后会变成数字，进到回归、假设检验和结论里。如果模型对“社会公平”这类标签系统性少贴或多贴，研究者算出来的“这类话题有多常见”就直接歪了。所以作者要问的不是“模型平均分高不高”，而是“它到底靠不靠得住”。
② 研究问题（要回答什么？）
作者把“靠不靠得住”拆成两个阶段、六种毛病。
第一阶段是用模型打标签的时候。第一，会不会有些标签特别准、有些特别烂，而平均分看不出来？第二，模型是真的在读手册里的定义，还是只认标签的名字，比如看到“收入”两个字就乱贴？第三，把手册的排版、例子、标签顺序稍微改一改，结果会不会大变？第四，同一个设置连跑十遍，答案会不会飘？第五，把在学术论文上练好的手册，直接搬到新闻上，还准不准？
第二阶段是让模型帮忙改手册的时候。现在有自动优化提示词的方法，也有多个模型互相讨论着改手册的方法。它们确实能把平均分刷上去，但作者怀疑：分数涨了，是不是靠牺牲那些本来就少的标签换来的？改完的手册，还是原来那个理论概念吗？改一次要花多少算力？
归根结底，作者想问：我们能不能把大模型当成一把稳定的尺子，而不只是一个会考高分的考生。
③ 研究方法（怎么做的？）
作者准备了三样东西：四套数据、五个模型、一堆“故意捣乱”的测试。
四套数据里，两套是别人用过的（美国抗议新闻、最低工资辩论），两套是作者自己新标注的（科研论文里的“价值创造”和新闻里的“价值创造”）。最后一对问的是同一件事，只是写法不同，正好用来测“换个场合还灵不灵”。每套数据的标签数从 4 个到 12 个不等，测试集最大一千条，最小六十条。
五个模型包括 GPT-4o-mini、DeepSeek-V3、Gemma-2-27B、Llama-3.1-8B 和 Mistral-7B。主力是较小的 Mistral，温度设为 0.3，也就是故意留一点随机性，好观察“同一道题做十遍会不会不一样”。
测试办法很朴素：拿原始手册当基准，每次只改一个地方再跑一遍。比如只给标签名不给定义、把标签名换成“标签一”“标签二”、把定义里的名字调换、删掉例子只留定义、给字段加上“定义：”“例子：”的前缀、把多数标签排前面或排后面。除了看准确率和平均分，作者还专门看最差那个标签的分数。最后，他们还请两位领域专家给优化后的手册打 1 到 4 分，评相关性、清晰度和区分度，并数了每种优化方法要调用多少次接口。
④ 结果（发现了什么？）
结果有点像拆穿魔术。
先看“平均分骗人”。在最低工资数据上，表现最好的标签 F1 是 72.97，最差的只有 28.90；最差标签与总体平均分之差，在最低工资、价值创造论文、抗议新闻三套数据上分别是 30、26、28 个百分点。平均分 60 分时，可能有个标签只有 20 多分。更普遍的是，24 个标签里有 17 个“宁可多贴不愿漏贴”，精确率低于召回率，会把某些概念的常见程度算高。
再看“只认名字”。把标签名换成“标签一”“标签二”，或把名字和定义调换，分数会明显掉；可如果只给标签名、不给定义，分数居然还挺高，尤其在价值创造论文数据上。说明模型很大程度靠标签名里的常识在猜，而不是读定义。
“换个场合”最戏剧化。把论文手册搬到新闻上，平均分从 44.89 涨到 62.22，看着像大成功；可要求“一条不漏全贴对”的准确率是 0.0，六十条新闻没一条全对，整体理解没跟上。
“让模型改手册”也没救场。加上正反例子，平均分和准确率都涨了，可最差标签的分数掉到 5.67（抗议新闻）和 11.32（价值创造论文）。APO 干脆把“框架”标签整个删掉；SCALE 在不同运行里，改出的手册从“原封不动”到“彻底重写”都有。成本上，简单改一遍只要 1 次接口调用，APO 要 113,200 次，SCALE 要 688 到 1,044 次。
⑤ 讨论（这些发现说明什么？）
作者认为，这些结果说明“平均分高”根本不能当作“可以放心用”的证据。原因有三层。
第一层是平均分本身的结构。内容分析的数据往往很不平衡：讲“价格”的句子可能几百条，讲“青年兼职工人”的只有五条。模型只要学会偷懒，把少数类都猜成“不是”，总体准确率仍然很好看。可研究者最后要的偏偏是“这个概念出现了多少次”，少数类被系统性漏掉，结论就歪了。所以作者反复强调要看最差标签的分数，而不是只看总分。
第二层是模型其实没在“读手册”。只给标签名也能得高分，说明它调用的多半是预训练时学到的常识。概念刚好和常识重合时没问题，可社会科学要测的常是很细的理论区分；模型靠名字猜，就会把概念悄悄换掉。
第三层是优化会把问题放大。自动优化只盯着平均分，它没有理由保护少数标签；而只要每次改动的效果在不同数据上方向不一致，所谓“最佳实践”就变成了碰运气。作者还发现一个讽刺的对比：专家觉得 SCALE 改出来的定义更清楚、更相关，可它的平均分往往不如简单粗暴的 FULL。也就是说，分数和“概念还对不对”是两回事。
不过作者也承认，这只覆盖四套数据、五个模型，换语言、换领域未必一样；专家只有两位，评分的一致性指标也不高。
⑥ 结论（最终结论 + 启示）
所以结论不是“别用大模型做内容分析”，而是“别只用平均分来验收”。作者给了一份很轻量的检查清单，任何研究者在正式开跑前都能做：
第一，除了总体分数，必须报告每个标签的分数、每个标签有多少样本，以及最差标签的分数；再加一个“精确率”指标，看看模型是不是在乱贴。
第二，做三个小测试：只给标签名、把名字换成“标签一”、把名字和定义调换。如果分数几乎不掉，说明模型靠的是名字而不是你的理论。
第三，至少重跑三遍，报告结果飘了多少；接口不透明或随机性大时还要多跑。
第四，改一改排版和标签顺序，看结果稳不稳；有条件的话，换一份同领域的数据再测一次。
第五，如果让模型帮忙改手册，一定要盯着最差标签的分数，请专家确认概念没被改跑，并把算力成本算进去。
一句话：大模型可以当助手，但在它交出“高分”时，你得亲自检查它是不是把最难的题全空着了。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
计算社会科学（CSS）正迅速把大语言模型纳入文本标注流水线：把编码手册（codebook）直接写入提示词，即可对新闻、社交媒体与政策文本进行零样本或少样本编码（Rytting et al. 2023; Törnberg 2024; Xiao et al. 2023）。编码手册是把理论概念转译为可操作标签的核心装置，例如研究最低工资报道时，以 Prices、Government、Welfare、Justice 等标签区分不同论述框架。既有研究报告了较高的总体一致率，并据此主张 LLM 可作为人类编码员的可扩展替代（Ruckdeschel 2025; Farjam et al. 2025; Ramanathan et al. 2025）。
但作者指出两类被忽略的风险。其一发生在推断期：模型可能无法稳定执行手册指令，已有 NLP 研究记录了对提示措辞、标签顺序与格式的敏感性（Shu et al. 2024; Mizrahi et al. 2024; Gu et al. 2023），但较少在真实 CSS 编码任务上做标签级分解。其二发生在优化期：APO（Abraham et al. 2025）与多智能体 SCALE（Zhao et al. 2025）等自动改写手册的方法以总体指标为目标，可能在提升平均分的同时改变标签定义、放大标签间不平等，乃至漂移构念。
这在内容分析中后果严重，因为标注即测量（Krippendorff 2018）：标注进入频率比较、回归与假设检验，也进入质性解释。频率主张要求各标签性能均衡（Egami et al. 2023），复现要求跨运行、跨模型、跨语料可比，构念效度要求标签仍承载手册原本的理论区分（Halterman & Keith 2025）。本文的贡献因此有三：提出覆盖推断与优化两阶段的失效模式分析框架；以四数据集五模型证明常用指标会掩盖这些失效；发布两份共享同一编码手册的专家标注数据集（论文/新闻）与完整评估管线。
I. Theoretical Framework & Hypotheses（理论框架与假设）
本文不设方向性假设，而以“测量效度”为总框架，将失效模式操作化为可观察的诊断对比。其逻辑是：若 LLM 真正在执行编码手册，则性能应对标签名替换、定义删减、格式扰动与领域迁移保持稳健，且各标签误差应大致均衡；反之，若总体分数高而上述诊断崩溃，则高分来自预训练常识而非手册遵循。下表给出六个研究问题与对应操作化。
| 编号 | 研究问题 / 失效模式 | 操作化诊断 | 理论依据 |
|---|---|---|---|
| RQ1 | 标签层性能是否均衡，平均分是否掩盖少数类崩溃 | micro-F1 与 macro-F1、worst-label-F1（WLF1）之差；逐标签精确率/召回率 | 频率估计需标签均衡（Egami et al. 2023）；标注即测量（Krippendorff 2018） |
| RQ2 | 模型依赖标签名还是手册定义 | Label-Only、Generic Label（“Label 1”）、Swapped Label 三种诊断 | 零样本性能取决于内部概念与目标构念的重合（Ziems et al. 2024）；Halterman & Keith 2025 |
| RQ3 | 对手册表述与格式是否敏感 | Simple / Structured / Majority Order / Inverted Order 四种单点改动 | 提示敏感性（Shu et al. 2024; Gu et al. 2023） |
| RQ4 | 跨重复运行是否稳定 | 同一配置重复 10–15 次，比较均值与置信区间、逐标签方差 | 测量信度；Ramanathan et al. 2025 报告的运行间波动 |
| RQ5 | 编码手册能否跨文本类型迁移 | 同一 Value Creation 手册用于论文与新闻，比较 micro/macro-F1 与子集准确率 | 构念效度与领域敏感性 |
| RQ6 | LLM 优化手册是否放大偏差并漂移构念 | FULL / APO / SCALE；WLF1；两位专家 1–4 分相关性、清晰度、区分度；API 调用数 | 构念漂移；自动优化以 micro-F1 为目标（Abraham et al. 2025; Zhao et al. 2025） |
该框架刻意把“总体性能”与“标签级效度”“构念效度”“运行信度”“迁移效度”并列，从而把传统上被平均指标吸收掉的失败重新变成可检验的对象。
M. Materials & Methods（材料与方法）
- 数据集：四套，覆盖不同领域、规模与标签数（Table 1）。CCC 为美国抗议新闻单标签四分类（4,706/1,007/1,010）；Minimum Wage 为最低工资辩论多标签十二类（758/194/194）；Value Creation Science 为科研摘要中的价值创造八类（2,149/268/269）；Value Creation News 为同一手册的新闻语料（仅测试 60 条）。后两套为作者新发布，用于受控领域迁移；Value Creation 手册由社会科学家团队迭代开发，以 Fleiss' κ 指导修订，两位领域专家另作定性校验。
- 模型与解码：推断实验默认 Mistral-7B-Instruct-v0.3，
temperature=0.3，不固定随机种子，以复现实践者常用聊天接口的随机性；跨模型比较含 GPT-4o-mini、DeepSeek-V3、Gemma-2-27B-it、Llama-3.1-8B-Instruct。为与 SCALE 原设定可比，FULL/APO/SCALE 三法统一用 GPT-4o。 - 指标：准确率（多标签为子集准确率，即一条样本的全部标签均正确）、micro-F1、macro-F1、macro-Precision、worst-label-F1：
WLF1 = min_l F1_l，F1_l = 2P_lR_l/(P_l+R_l)。加入 macro-P 用于检测“过度编码”，加入 WLF1 用于暴露被 micro-F1 吸收的少数类崩溃。 - 推断期扰动：以未改动手册为基线，每次只施加一个改动：①Simple（仅标签名+定义，删例子、澄清与反例）；②Structured（每个字段前加“definition:”“example:”等结构标记）；③Majority Order（多数类标签前置）与 ④Inverted Order（倒序）；⑤Label-Only（只给标签名，不给定义）；⑥Generic Label（标签名替换为“Label 1”等伪标签）；⑦Swapped Label（置换标签名与定义）。
- 优化期方法：①最小结构化改动（加正/负澄清、加正/负例子等，单次零样本 rollout）；②FULL，提示 LLM 整体改写手册；③APO（Abraham et al. 2025），以 human-labeled 子集为验证集迭代生成语义等价提示并保留最优；④SCALE（Zhao et al. 2025），多智能体协作编码与手册演化。
- 稳定性与统计：每个（数据集, 系统）对独立推断
R=10次（稳定性图示另用 15 次），保存全部测试集预测。逐 run 与基线配对，对δ_r = M_proto^(r) − M_base^(r)做双侧单样本 t 检验（H0: E[δ]=0，df=R−1），并做 Wilcoxon 符号秩检验作非参校验。实例层不确定性用保留配对结构的 bootstrap：B=20,000，seed=42，95% 百分位区间，双侧p_boot = 2·min(Pr(Δ_b≤0), Pr(Δ_b≥0))。跨领域比较因测试实例不配对，改用 run 级配对 delta t 检验与 run 级非配对 bootstrap；最差标签比较用 Welch t 检验。 - 专家评估：两位领域专家对 Value Creation Science 每个标签描述按 1–4 Likert 评相关性、清晰度、区分度（Lynn 1986）。因评分方差低，
Cohen's κ=0.34，但原始一致率 51.6% 完全相同、87.3% 相差不超过 1 分。 - 效率：统计各优化方法的 API 调用次数作为算力成本代理。
| 数据集 | 多标签 | 标签数 | 训练 | 验证 | 测试 |
|---|---|---|---|---|---|
| CCC | 否 | 4 | 4,706 | 1,007 | 1,010 |
| Minimum Wage | 是 | 12 | 758 | 194 | 194 |
| Value Creation Science | 是 | 8 | 2,149 | 268 | 269 |
| Value Creation News | 是 | 8 | — | — | 60 |
R. Results（结果）
- 标签级不平等（RQ1）：Minimum Wage 上最低 F1 为 Youth-and-Secondary-Wage-Earners（支持数 5）的 28.90，最高为 Social-Justice/Injustice（支持数 59）的 72.97。WLF1 与 micro-F1 的差距为 Minimum Wage 30 点、Value Creation Science 26 点、CCC 28 点，这些差距在总体报表中完全不可见。三套数据均呈 macro-F1 < micro-F1。
- 过度编码（RQ1）：三套数据中有两套 macro-P < macro-F1，说明模型贴标签比金标准更宽松；24 个标签中有 17 个精确率低于召回率，属系统性过度预测而非零散错误，会抬高语料中概念的表面流行度。
- 依赖标签名（RQ2）：Swapped Label 使 Minimum Wage 的 micro-F1 从 59.1 跌至 37.7、CCC 从 34.0 跌至 12.5；Generic Label 同样显著下降；而 Label-Only（仅标签名、无定义）仍取得意外高的分数，Value Creation Science 尤甚。三者合并表明模型主要依赖标签名所携带的预训练语义，而非手册定义。
- 格式敏感且方向不一（RQ3）：Simple 使 Value Creation Science（44.9→42.5）与 CCC（34.0→28.7）下降，却使 Minimum Wage 略升（59.1→61.2）；Structured 使 CCC 大幅上升（34.0→50.2），却使另两套全面下降；Majority Order 对前两套影响小，却明显损害 CCC（34.0→30.1），而 Inverted Order 反使 CCC 达最佳（58.7），同时损害其余数据（Minimum Wage 59.1→55.9）。三条独立设计维度上的矛盾结果，可解释为何文献中的“最佳实践”彼此冲突。
- 随机不稳定（RQ4）：温度 0.3 且不固定种子时，CCC 高度稳定，Value Creation Science 中等波动（平均 3 次可明显收敛），Minimum Wage 波动最大，尤以低支持标签 TURNOVER 为甚；低支持类别同时最易系统性低性能与随机噪声。
- 无稳定模型排名（RQ4 扩展）：五个模型中无一持续领先。Value Creation Science 上 Gemma 精确率最高、DeepSeek micro/macro-F1 最高、Llama 最弱；CCC 上 Gemma 的 F1 比其余模型低至多 25 个百分点，而小模型 Mistral 与更大的 DeepSeek、GPT 相当；Minimum Wage 上 Gemma 反而全面领先。结论依赖模型（及版本），闭源接口的静默更新会加剧不可复现。
- 领域迁移悖论（RQ5）：同一手册从论文迁到新闻，micro-F1 由 44.89 升至 62.22、macro-F1 由 39.57 升至 59.55，但子集准确率由 1.9 降至 0.0——60 条新闻无一条全部标签正确。单标签更易命中源于新闻语言更简单直接，整体编码任务的把握并未提升。
- 优化放大偏差（RQ6）：加入正/负例子在 CCC 与 Value Creation Science 上提升了 micro/macro-F1、准确率与 macro-P，却把 WLF1 压到 5.67 与 11.32；若只看聚合指标，这类改动会被判为有益。APO 在 Value Creation Science 上直接删除了 FRAMEWORK 标签；SCALE 的多次运行从“完全不改”到“彻底重写”不等，选出哪一次运行本身成为任意决定。
- 优化方法与成本（RQ6）：FULL 最稳定，各数据集 macro-F1 降幅不超过 5 点；APO 在 CCC 上 micro-F1 达 60.1，但在其余数据上波动大；SCALE 在 CCC 上 59.9，却降低另两套多数指标。API 调用：FULL 1 次、SCALE 688–1,044 次、APO 113,200 次，后者比 SCALE 多两个数量级、比 FULL 多五个数量级，却未稳定胜出。
- 专家构念评分（RQ6）：相关性 SCALE 3.56 > FULL 3.44 > APO 3.19；清晰度 SCALE 3.44 > FULL 3.25 > APO 3.06；区分度 FULL 与 SCALE 高于 APO（未给具体均值）。专家更认可 SCALE 的定义，但其 F1 常低于 FULL，说明预测增益可能来自“简化到更贴合模型行为”的定义，同时牺牲概念可解释性。
- 监督基线对照：微调 RoBERTa-large 同样呈“高 micro-F1、低 macro-F1、WLF1=0.0”（CCC micro 73.95 / macro 49.51；Minimum Wage 67.67 / 36.65；Value Creation Science 31.38 / 13.46），说明少数类崩溃并非 LLM 独有，但编码器主要受标签不平衡与监督稀疏驱动，LLM 管线还叠加提示敏感、运行不稳与语义漂移。
| 指标 | Minimum Wage | CCC | Value Creation Science |
|---|---|---|---|
| 准确率（子集） | 18.2 | 33.0 | 1.9 |
| micro-F1 | 59.1 | 34.0 | 44.9 |
| macro-F1 | 54.8 | 33.4 | 39.6 |
| macro-Precision | 47.5 | 45.6 | 30.5 |
| worst-label-F1 | 28.9 | 6.4 | 18.8 |
| 手册变体 | Minimum Wage micro-F1 | CCC micro-F1 | Value Creation Science micro-F1 |
|---|---|---|---|
| 未改动（基线） | 59.1 | 34.0 | 44.9 |
| 简化（仅名+定义） | 61.2 | 28.7 | 42.5 |
| 结构化标记 | 56.8 | 50.2 | 44.3 |
| 多数标签前置 | 60.2 | 30.1 | 43.6 |
| 标签倒序 | 55.9 | 58.7 | 36.2 |
| 优化方法 | 关键结果 | API 调用 |
|---|---|---|
| FULL | 最稳定，各数据集 macro-F1 降幅 ≤5 点 | 1 |
| APO | CCC micro-F1 60.1；Value Creation Science 删去 FRAMEWORK | 113,200 |
| SCALE | CCC micro-F1 59.9；Value Creation Science 多次运行结果悬殊 | 688–1,044 |
a / D. Discussion & Conclusion（讨论与结论）
- 为何平均分会骗人：CSS 数据高度不平衡，micro-F1 与子集准确率由多数类主导；少数类既承受系统性低性能，又承受更大随机噪声（TURNOVER 即例）。若下游做频率比较或共现计数（Baumann et al. 2025; Gligoric et al. 2025），少数类的漏标会直接偏置结论。作者因此主张把 WLF1 与逐标签支持数作为标准报告项，而非附录补充。
- 高分来自名字而非理论：Label-Only 高分、Generic/Swapped 崩塌，共同指向“预训练概念重叠”而非“手册遵循”。Ziems et al. (2024) 已指出零样本在概念重合时最强、在需服从细密指令时下降；本文在真实 CSS 手册上给出标签级证据。对理论驱动的编码，这意味着必须做名称扰动诊断，否则无法区分“测到了构念”与“测到了常识”。
- 最佳实践不可移植：Simple、Structured、Order 三种改动在三套数据上方向相反。作者的解释是文本长度与信息密度不同（CCC 文本最长，结构标记有助于在长上下文中检索定义），因此文献中基于单一数据集的“最佳实践”彼此冲突并不奇怪。可操作含义是：手册设计应在目标语料上做小规模敏感性测试，而非照搬建议。
- 领域迁移的双面性：新闻上单标签 F1 更高、整体却零命中，说明“更容易猜中单个标签”与“完整还原一条文本的多标签结构”是两种能力。跨语料比较研究若只看 micro-F1，可能把系统性差异误读为实质差异，产生虚假经验规律或复制失败。
- 优化把偏差结构化：APO 以 micro-F1 为目标函数，没有保护少数类的机制；加正反例子的改动在聚合指标上全面变好，却把 WLF1 压到 5.67/11.32，这是“指标对齐”而非“构念对齐”的典型失败。SCALE 的运行间差异使“部署哪一版手册”成为任意决定，进一步破坏可复现性。
- 成本与可及性：APO 的 113,200 次调用比 FULL 多五个数量级且未稳定胜出；SCALE 需 688–1,044 次；最小提示改动任何社会科学家都能做。迭代优化并非默认更优，其收益须与算力、工程门槛和构念风险一同核算。
- 最小验证协议：①尾部风险——与 micro-F1/准确率并列报告 macro-F1、WLF1、逐标签分数与支持数、macro-P；②意义遵循——做 Label-Only、Generic、Swapped 三项诊断；③稳定性——至少重复 3 次，报告运行次数与波动，方差大或接口不透明时增加；④敏感性——施加语义保持的格式/顺序扰动；⑤迁移——尽可能在同领域另一数据集上复测；⑥优化护栏——纳入 WLF1 保护少数标签、请专家核验构念、报告算力成本。作者强调这是低成本筛查而非统计上完备的评估。
- 理论含义：LLM 标注不能被当作稳定测量工具；其误差不是随机的“噪声”，而是与标签频率、标签命名、文本类型和优化目标系统相关的“结构”。这直接挑战“高一致率即可替代人类编码员”的推论，也提示下游统计推断需为标注误差建模（Egami et al. 2023）。
- 局限：仅四套数据、少量编码手册与模型配置，未必推广到其他领域、语言与标注框架；专家评估仅两人，
κ=0.34受低方差影响，主体间效度有限；Value Creation News 仅 60 条测试句，迁移结论的统计功效有限。 - 资助与开放：ES 与 YC 受德国联邦研究、技术与空间部（BMFTR）Wertschöpfungsradar 项目 02J21A00X 资助；BP 受 ERC Consolidator Grant DIALECT 101043235 资助。两套 Value Creation 数据集、代码与评估管线已公开发布。
🧠 IRMaD 思维导图
mindmap
root((编码手册失灵))
I 引言
大模型编码流行
编码手册即测量
高分被当成可靠
失效常不可见
两阶段风险
R 框架
RQ1 标签层差距
RQ2 依赖标签名
RQ3 格式敏感
RQ4 运行不稳
RQ5 领域迁移
RQ6 优化漂移
M 方法
四套数据集
五个模型
Mistral 温度零点三
十次重复
最差标签F1
两万次自助法
两位专家评分
R 结果
差标签F1 二十八点九
差距三十点
标签名互换骤降
新闻准确率零点零
例子压低最差F1
优化调用十一万次
无稳定模型排名
a 讨论
平均分掩盖少数类
模型靠名字不靠定义
优化放大偏差
专家评分与分数背离
最佳实践不可移植
D 结论
报告最差标签
做名称与格式测试
至少跑三遍
优化设少数类护栏
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。