ECAF 2026 · Ghent · cs.CY · TU Delft · 13 页扩展摘要

内容何时才算“足够 AI 生成”?——数字服务法与人工智能法下的合成媒体标注

Marie-Therese Sekwenz · ECAF 2026 (5th European Conference on Algorithmic Fairness) · 2026 · arXiv: 2609.07727
原题:When Is Content “AI-Generated Enough”? Labelling Synthetic Media under the Digital Services Act and the AI Act
Open Access 新颖度 0.58

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

现在用 AI 生成一张图片、一段视频或一段语音,已经变得非常容易。合成媒体,也就是由人工智能凭空生成、或被它大幅改动的图像、声音和影像,正变得和真拍的照片、真录的音一样逼真。普通人刷到一条视频,往往分不清它到底是真事还是造出来的。各国政府都不想一刀切地禁止这些内容,因为那样会伤及正常的创作自由和艺术表达。于是大家盯上了一个看起来温和的办法:贴标签。不禁止,但要求某些人站出来说明“这东西是 AI 做的”。欧盟就沿着这条路立了两部重要法律,一部管线上平台,一部管 AI 系统本身。

标签听起来简单,做起来却很麻烦。要给内容贴标签,先得回答一串问题:什么样的内容算“合成的”?该由谁来贴——是造模型的公司,还是上传内容的用户,还是平台?标签上写什么、贴在哪儿、用户会不会真的看见并看懂?这些问题难,是因为今天的媒体早已不是“真”和“假”两个抽屉就能装下的。一段视频可能只是字幕用了 AI 自动生成,也可能背景被 AI 补过、声音被 AI 修过,还可能整个人物都是凭空造出来的。同样一张政治图片,可能是 AI 画的,也可能是真人拍摄却被裁掉了上下文。到底哪一种才需要警示,法律和技术的答案并不一致。

② 研究问题(要回答什么?)

这篇论文想弄清楚的,是欧盟的两部法律究竟怎样理解“给深度伪造内容做透明披露”。一部是管线上平台的数字服务法,一部是管 AI 系统本身的人工智能法。作者不满足于只问“该不该贴标签”,而是把问题往深处推了一层:法律划定的那条门槛到底在哪里?也就是,内容要被生成、被改动、被伪装到什么程度,才算触发披露义务?为此,研究者盯住了四个互相缠在一起的难题:定义含糊、界面与责任如何分配、标签到底有没有用、以及公平与可申诉性。他们还借助一份平台的真实数据,想看看现实中平台究竟更常删除内容,还是更常贴标签。

③ 研究方法(怎么做的?)

这项研究的做法,不是去跑一个统计模型,而是把欧盟的条文和一份平台的真实数据摆在一起,做一次“法律分析加证据体检”。第一条线是逐条读法。作者把数字服务法里负责系统性风险那一条、人工智能法里关于深度伪造和透明义务的几条规定,连同它们正在起草中的实施准则,一条一条摊开对照,看每一条把义务压给了谁:是提供 AI 系统的公司,是使用 AI 的部署者,是超大在线平台,还是上传内容的用户。第二条线是看真实数据。欧盟的数字服务法要求平台把每次内容处置都上报到一个公开的“理由陈述”数据库。作者从中筛出标记为“合成媒体”的那一档,截取了从二零二三年九月到二零二六年四月的记录,数一数里面到底有多少是删除、多少是降权、又有多少只是贴了个标签。

④ 结果(发现了什么?)

真实数据给出的结果有点出人意料。在这个“合成媒体”筛选下,数据库一共收到约一亿五千三百万条理由陈述,说明合成媒体已经被平台当成一个独立门类在统计了。可从处置方式看,平台几乎不靠贴标签:真正算作“贴标签”的只有约一百四十二万条,占比极小;而删除内容多达约一亿两千九百八十万条,降权约一千九百零八万条。也就是说,平台最常用的还是让内容消失或沉底,标签只是很小的一块。再看是谁先动的手:约百分之九十八的处置来自平台自己的主动巡查,而不是用户举报或可信举报人的提示。这让人怀疑,那些设计给用户用来标记 AI 内容的按钮,现实中到底有没有真正发挥作用。按平台分,脸书一家就占了约一亿一千八百三十三万条,Instagram 约三千一百三十六万条,X 约二百七十四万条。

⑤ 讨论(这些发现说明什么?)

作者认为,这些数字说明贴标签远没有看起来那么顺手。数据并不是在说合成媒体很少见,而是说平台更习惯直接动手删除或降权,标签只是很边缘的一招。由此,作者提出这套机制里有四个绕不开的张力。第一是定义含糊:真正要紧的不是有没有用 AI,而是 AI 有没有实质地改变这段内容的“说法”——美颜滤镜、自动生成的字幕、把背景补大一圈、把脸换掉,这些边界案例到底算不算,法律没说清。第二是界面与责任设计:一旦让用户能举报“这可能是 AI 生成的”,用户就被拉进了贴标签这条流水线,但他们不一定认得出来,也可能故意滥用。第三是标签到底有没有用:它取决于用户有没有看见、看懂、正确理解;在政治场合,指控“这是 AI 做的”甚至会变成一种否认真相的手段。第四是公平与可申诉:错标可能集中在某些语言和小众表达上,被错标的人可能被降权、被删除。作者因此主张,公平的程序和判得准同样重要。

⑥ 结论(最终结论 + 启示)

一句话说,欧盟管深度伪造的路子,正在从单纯的“必须披露”,变成一整套围绕来源标记、技术检测和界面设计的体系。数字服务法管的是平台层面的风险缓解,人工智能法和实施准则则把“提供方做机器可读的标记”与“部署者做给人看的标签”分开处理。所以真正的问题从来不只是要不要贴标签,而是谁按下这个开关、标签被怎样解读、它又怎么和删除、降权这些动作纠缠在一起。作者提醒,标签想真正有意义,就得清楚、可申诉、站在用户这一边来设计,否则它既可能漏掉该标的,也可能错标不该标的。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

合成与操纵媒体已成为欧洲数字治理的核心对象。生成式 AI 工具的普及,使图像、音频、视频与文本可以被廉价地生成或改动,动摇了普通人对“真实性”的默认预期。监管回应普遍转向标注(labelling):与其一律禁止,不如要求特定主体披露内容的 AI 生成或操纵属性,从而在表达自由、艺术自由、创新与反欺骗之间取得折中。然而标注并非自我执行,它需要一连串判断:什么算合成或操纵内容、由谁标注、标什么、贴在哪里、用户如何解读。既往研究多聚焦单一机制,或停留在规范论证,缺少把“法律门槛—技术溯源—平台界面—报告实践”打通的分析。本文有三点贡献:其一,把深度伪造标注重新概念化为一种社会—技术分类实践(socio-technical classification practice),而非单纯的披露义务;其二,识别出义务操作化过程中产生的四个治理张力;其三,以 DSA“理由陈述”(Statement of Reasons)数据库的快照为证据,考察平台在实践中如何处置合成媒体,并评估标注相对于删除、降权的实际份量。研究问题为:DSA、AI Act 及第 50 条实施框架如何概念化深度伪造的透明义务,当法律标注义务落到技术标记、平台界面与面向用户的披露上时,会产生哪些实际问题。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文的分析框架把标注义务拆成“义务主体—义务内容—触发门槛”三层,并把它视为一个由 AI 提供方、部署者、平台、上传者与接收者共同分担责任的分类系统。规制架构对照如下:

法源关键条款义务主体义务内容与触发门槛
AI Act第 3(60) 条(定义条款)“深度伪造”=AI 生成或操纵、类似真实存在的人物/物体/地点/实体/事件、且会让人误以为真实可信的图像、音频或视频
AI Act第 3(4) 条(定义条款)“部署者”=在自身职权下使用 AI 系统的自然人、法人、公共机关或其他机构,纯个人非职业活动除外
AI Act第 50(2) 条提供者(provider)机器可读标记与可检测性;须支持数字签名元数据、不可感知水印
AI Act第 50(4) 条部署者(deployer)对构成深度伪造的生成/操纵图像、音频、视频须清晰、可区分、可及地披露,最迟不得晚于首次曝光;并覆盖以告知公众为目的的 AI 生成/操纵文本(人工审查、编辑控制、编辑责任等例外)
AI Act第 50(5) 条部署者对 AI 生成/操纵的公共利益文本的披露(与 50(4) 并列)
DSA第 34 条VLOP / VLOSE系统性风险评估义务(第 35(1)(k) 的母条款)
DSA第 35(1)(k) 条VLOP / VLOSE作为系统性风险缓解措施:使“类似真实且被误认为真实”的生成/操纵图像、音频、视频通过界面醒目标记可区分;并提供易于使用的功能让接收者(含可信举报人)指认此类内容
DSA第 16 条 / 第 22 条平台 / 可信举报人非法内容通知机制;可信举报人(trusted flagger)优先处理
实施准则第二次草案(2026)提供者 / 部署者提供者侧重 50(2)(5) 的机器可读标记与检测;部署者侧重 50(4)(5) 的图标、标签、免责声明;含数字签名元数据、不可感知水印、可选指纹/日志;附件给出 EU 图标“AI GENERATED / AI MODIFIED”

框架的核心主张是:标注义务究竟落在哪一层,取决于该内容是否越过“实质性改变传播地位”的门槛。由此本文识别出四个治理张力:

张力内涵具体表现
定义含糊关键不在是否用了 AI,而在 AI 是否实质改变了内容的传播地位美颜滤镜、AI 生成字幕、背景外扩、换脸等边界案例需要比“真/假”更细的类别
界面与责任设计面向接收者的举报工具把用户拉进标注基础设施用户难以可靠识别 AI 内容,或可能策略性滥用“深度伪造”指控;标签是界面干预,其可见性、显著性、出现时机决定效果
有用性与传播效果价值取决于用户是否注意、理解并恰当解读政治语境中,“真实内容被指为 AI 生成”本身可成为否认策略
公平与可申诉性分类误差可能在不同语言、文化语境、表达形式间不均等分布错误标签可导致降权、删除或名誉损害;公平实施需要可及的说明与真正可挑战误判的机制

M. Materials & Methods(材料与方法)

R. Results(结果)

处置类型理由陈述数(约)占比
可见性措施(合计)151,460,00098.9%
 内容删除129,790,000—
 内容降权19,080,000—
 贴标签1,420,000—
 其他可见性限制1,160,000—
可见性+服务提供+账号组合限制838,0000.55%
合计153,138,573100%

表 1:EU 图标类别与 AI Act、DSA、行为准则及本文门槛分析的对应关系

类别AI ActDSA实施准则(Code of Practice)概念维度
基础 AI 图标第 50(4)、50(5) 条要求部署者以清晰、可区分、可及的方式披露合格的深度伪造与公共利益文本,且最迟不晚于首次曝光第 35(1)(k) 条指界面醒目标记,以及让接收者指认生成/操纵内容的易用功能基础图标可与定制文本披露或交互式第二层并用;准则规定了此类披露的设计与位置要求(pp. 29–33, 37)支持情境化披露:通用标签不足以解释究竟是哪个元素被生成或修改
完全 AI 生成 “AI GENERATED”第 50(2) 条要求提供方做机器可读标记与可检测;第 50(4) 条在输出构成深度伪造或合格公共利益文本时追加可见披露第 35(1)(k) 条适用于生成/操纵的图像、音频、视频显著类似真实人物/物/地点/实体/事件且貌似真实可信的情形准则规定数字签名元数据、不可感知水印与检测机制;附件为完全生成内容指定 “AI GENERATED” 图标(pp. 8–15, 37)“足够 AI 生成”最清楚的情形;遗留问题是相似性、虚假真实性、发布目的与法定例外
部分 AI 修改 “AI MODIFIED”第 3(60) 与 50(4) 条覆盖类似真实存在且貌似真实可信的 AI 生成/操纵媒体第 35(1)(k) 条同样覆盖满足相似性与虚假真实性标准的实质性生成/操纵媒体“AI MODIFIED” 图标适用于被 AI 部分修改的既有真人创作内容;第二层可说明修改的性质与位置(pp. 33, 37)门槛问题的核心;披露应取决于 AI 是否实质改变了所呈现的人、事件、陈述或证据主张
AI 辅助或轻微增强第 50 条并不使所有 AI 使用都承担可见披露;50(4) 取决于内容是否构成深度伪造或合格操纵的公共利益文本第 35(1)(k) 不因用了 AI 就被触发;相似性与虚假真实性要求也须满足准则未为轻微校正、降噪、自动字幕或有限增强设独立图标,但鼓励更丰富的溯源与分层信息(pp. 11, 33, 37)未解决的边界;披露应取决于实质性、传播意义与虚假真实性风险,而非仅凭“用了 AI”
接收者指认首要义务仍在提供方与部署者;接收者不负责判断内容是否在法律上构成深度伪造第 35(1)(k) 要求易用的接收者功能;当通知涉及非法内容时,第 16、22 条可能相关检测方案应面向用户、研究者、公民社会、媒体、事实核查者、可信举报人与主管机关(pp. 12–15)产生界面与责任设计问题:用户需要可用类别、说明、检测支持与挑战误判的机制
机器可读溯源第 50(2) 条要求机器可读标记与可检测,独立于 50(4) 的部署者可见披露技术溯源可支持第 35 条缓解,但仅凭不可见元数据不一定满足“界面醒目披露”的目标准则规定数字签名元数据、不可感知水印、可选指纹或日志及更丰富的溯源信息(pp. 8–11)说明溯源与可见标注功能不同:技术来源信息本身不决定内容是否误导、有害、讽刺或依法应披露

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((合成媒体标注门槛))
    I 引言
      合成媒体成规制对象
      标注是折中方案
      标注并非自我执行
    R 问题
      法律如何概念化披露
      门槛究竟落在哪里
      四个治理张力
    M 方法
      逐条读数字服务法
      对照人工智能法
      第 50 条实施准则
      理由陈述库快照
    R 结果
      快照一亿五千三百万条
      贴标签仅一百四十二万
      删除一亿两千九百八十万
      九成八靠平台主动
    a 讨论
      定义含糊看实质性
      界面把用户拉进来
      标签或被当否认工具
      误标影响分布不均
    D 结论
      从披露转向溯源体系
      提供者标记 部署者标注
      标签须清楚可申诉

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。