🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
你在刷社交平台时，可能看到过这样的帖子：一位网红热情推荐某款蛋白粉，配文写着“自用好物”，但没说这是广告。按荷兰的广告规则，付费推广必须让观众一眼看出来。问题是，这类“隐形广告”几百万条地发，人工根本查不过来。
于是监管和平台开始用AI自动识别。但这些系统大多是个“黑箱”：它说这帖是广告，却讲不出依据。可执法不是考试打勾——你得说明白违反了哪一条、为什么，商家才能申辩，平台才不会被质疑乱杀。
② 研究问题（要回答什么？）
作者要回答：
- Q1：把法规原文塞进提示词，能不能提高大模型识别隐形广告的准确率？
- Q2：模型给出的“法律理由”到底靠不靠谱？会犯哪些类型的错？
- Q3：准确和讲理，能不能同时做到？
③ 研究方法（怎么做的？）
数据来自荷兰的网红登记库（约30万条帖子），作者只保留英文的Instagram帖，挑出592条“依法充分披露”的广告帖，再随机配551条可能含隐形广告的帖子，合计1,143条。三名领域专家标注，两人一致率92.64%，一致性系数0.74。
然后设计三种提示词，法条给得越来越少：
- 完整版：给荷兰广告规范的全文＋官方解释；
- 只要条文：给全文但删掉解释；
- 只给名字：只说“依据《一般条款》和《社交媒体与网红营销广告规范》”，不给原文。
三个模型（gpt-5-nano、gemini-2.5-flash-lite、gpt-4.1-nano）在每种条件下都要做两件事：判断是不是广告，并写出法律理由。最后由两名有法律背景的助手对60条解释逐条打勾：有没有错引、有没有不引、有没有编造。
④ 结果（发现了什么？）
先说准确率：整体不错，最高F1达到0.93。但有两个发现很扎眼。
第一，法条给得越多，不一定判得越准。给全文的那组，精度最高（0.95）但召回下降，F1反而是最低的0.90；不给解释的版本召回最高（0.93）。作者推测模型其实是在靠预训练里见过的模式答题，而不是真的在读法条。
第二，遇到真正模糊的帖子就露馅。在标注员自己都吵不清的95条上，各模型F1掉了十多分。
再说说理质量——这是本文最独特的贡献。作者把错误分成七类，统计出现频率：
28.57%
20.71%
8.57%
仅2.62%
也就是说，模型很少“凭空捏造法条”（这算好消息），但它经常含糊其辞：说“这违反了广告披露要求”，却不点明是哪一条、为什么适用。
⑤ 讨论（这些发现说明什么？）
作者的核心判断是：大模型能当“初筛员”，但还不能当“执法员”。它在多数帖子上判断准确，在模糊案例上却和人类专家一样犯难；它能写出像模像样的理由，但理由的法律根基常常是空的。
这对平台治理有直接含义：如果自动审核只输出“是/否”，被误判的商家无从申辩；如果把理由一并公开，就必须保证理由能被复核。作者建议把“解释质量”纳入系统评测，而不只看准确率。
⑥ 结论（最终结论 + 启示）
结论可以概括为三句：多喂法条不会自动变准；模型擅长判断、不擅长引证；自动审核要合法合规，必须同时考核准确与可解释。
更广的启示是：当AI被放进监管流程，评价标准要从“它答对了多少”扩展到“它能不能说清楚为什么”——否则效率提升的代价，是问责链条的断裂。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
网红营销模糊了自然内容与付费推广的边界，荷兰《广告规范》要求广告须可识别（“green disclosure”）。执法依赖大规模检测，而现有隐性广告检测方法要么缺乏法律依据，要么是不可解释的黑箱。法律推理不同于一般分类：它要求把事实涵摄到具体规范之下，并给出可复核的理由。
本文填补的空白是双维评估：既测分类性能，也系统评估LLM生成法律解释的soundness。作者以1,143条Instagram帖为语料，操纵提示词中的法律知识量（全文＋解释 / 仅全文 / 仅法典名），比较两个前沿小模型与一个基线模型，并建立LLM法律推理错误的七类分类学。
I. Theoretical Framework & Hypotheses（理论框架与假设）
| 维度 | 操作化 | 理论依据 |
|---|---|---|
| 披露充分性 | green disclosure = 符合荷兰广告规范的可识别披露 | Dutch Advertising Code（SRC） |
| 法律知识供给 | 三档提示：全文＋官方解释／全文／仅法典名称 | 法律文本可及性影响涵摄能力 |
| 解释质量 | 有用性评分＋七类错误（e1–e7） | 法律论证的可复核性要求 |
| 错误类型学 | e1误读引证、e2未引证、e3引证不清、e4引证幻觉、e5内容幻觉、e6错误线索、e7结论反向 | 法律推理错误的实践分类 |
核心假设是“法条供给—判断质量单调关系”；本文的实证结果恰恰证伪了这一直觉：更多法律文本并未稳定提升分类表现，提示模型可能主要依赖预训练中习得的模式而非所给法条。
M. Materials & Methods（材料与方法）
- 语料：源自 Gui et al. (2024) 的荷兰视频上传者登记库（300,199条），筛英文Instagram帖：592条green disclosure＋551条随机抽样（可能含隐性广告或自然内容），共1,143条。
- 标注：三名领域专家两步共识标注（ann1/ann2一致，分歧交ann3）；排除10.34%不确定样本；ann1–ann2绝对一致率92.64%，Krippendorff's α=0.74。
- 模型：gpt-5-nano、gemini-2.5-flash-lite、gpt-4.1-nano（基线对照）。
- 提示策略：同一基础指令，三档法律知识（article_explanation / article / names_only）；要求输出二分类判断＋法律理由。
- 解释评测：60条随机帖（20披露广告／20隐性广告／20自然内容），两名有法律背景的助理标注，重叠10条的重测一致率89.29%；记录七类错误是否出现。
- 模糊子集：95条 ann1/ann2 分歧或不确定的帖子，单独评估。
- 指标：precision / recall / F1；解释有用性评分；各错误类型在解释中的出现比例。
R. Results（结果）
- 整体分类：gemini-2.5-flash-lite F1最高0.93（recall 0.93）；gpt-5-nano precision最高0.95（article_explanation），但该条件下recall下降致F1最低（0.90）；gpt-4.1-nano全面落后（F1 0.85–0.87），部分指标不及基线。
- 法律知识效应：提供最多法律文本并非最优——对GPT，全文＋解释提升precision却压低recall；对Gemini，最高recall出现在“仅全文”条件。结论：更多法条≠更好分类。
- 模糊子集（n=95）：各模型F1较全样本下降超过10个百分点，基线模型亦明显退化——难度集中在标注者本身分歧的案例。
- 解释错误率（全部标注解释）：e2 未引证 28.57%；e3 引证不清 20.71%；e1 误读引证 8.57%；e6 错误线索 7.38%；e4 引证幻觉 2.62%；e5 内容幻觉 2.38%；e7 结论反向 0.24%。
- 解读：幻觉率低（e4+e5合计约5%），但“不引证／引证含糊”合计近半——模型倾向给出表面可信、法律根基空泛的理由。
| 模型 | 最佳F1 | precision | recall | 备注 |
|---|---|---|---|---|
| gemini-2.5-flash-lite | 0.93 | — | 0.93 | 召回导向更强，适合查隐性广告 |
| gpt-5-nano | 0.90 | 0.95 | 较低 | 精度导向，法条全文时精度最高 |
| gpt-4.1-nano | 0.85–0.87 | — | — | 全面落后，部分不及基线 |
a / D. Discussion & Conclusion（讨论与结论）
- 理论贡献：提出LLM法律推理错误的可操作分类学（e1–e7），把“合规自动化”的评价从准确率扩展到论证可复核性；实证上挑战“法律上下文越多越好”的直觉。
- 治理与监管含义：平台自动审核若用于执法，须同时满足准确与可解释；建议在系统评估中加入“引证率/引证清晰度”指标，并保留人工复核通道，避免问责链断裂。
- 传播学意义：隐性广告治理是平台内容治理的典型场景；本文显示模型在标注者本身分歧的案例上同样失效，提示“人机一致性”上限受限于标注共识本身。
- 局限：①仅荷兰规范、英文Instagram帖，跨辖区与跨平台外推有限；②解释评测样本仅60条，错误率置信区间较宽；③未做提示词敏感性分析（措辞、示例数）；④模型为小型/轻量版本，前沿大模型表现未知；⑤未评估用户端可读性，仅评估专家可用性。
- 结论：LLM可胜任隐性广告的初筛（F1≈0.93），但其法律解释以“含糊而不虚假”为特征；合规自动化必须把解释质量纳入考核，并保留人类复核与申诉机制。
🧠 IRMaD 思维导图
mindmap
root((AI查隐形广告))
I 引言
隐性广告海量难查
黑箱判断无法申辩
执法需要讲清依据
T 框架
三档法律知识供给
准确与可解释双维
七类法律推理错误
人机一致性受标注限制
M 方法
一千一百四十三条帖子
三名专家共识标注
三个模型三种提示
六十条解释逐条挑错
R 结果
最高F1零点九三
模糊帖掉十多分
未引证近三成
引证不清两成
a 讨论
法条多不等于判得准
模型靠预训练套路
幻觉少但依据空
需保留人工复核
D 结论
能做初筛不能执法
解释质量纳入评测
平台治理要可申诉
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。