arXiv 预印本 · 2026-10 · cs.CY · 六家前沿公司 27 份政策文本 · 三名评审 48 格编码

何时把与人工智能的私密对话交给国家才算正当——从语境完整性看美国主要人工智能公司的主动报送政策

Minjong Cheon, Hanseon Joo, Ook Lee 等 4 人 · arXiv 预印本(cs.CY,38 页:22 页正文 + 16 页附录) · 2026 · DOI: 10.48550/arXiv.2610.25169 · arXiv: 2610.25169
原题:When Is Disclosing Private Conversations with AI to the State Justified? Proactive Referral Policies of Major U.S. AI Companies through the Lens of Contextual Integrity
Open Access 新颖度 0.62

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

现在很多人不只拿聊天机器人查资料,也会把心事、愤怒甚至极端的念头打给它。这些话既没有寄给谁,也没有贴在公开的墙上,按理说该算私密的。可它们存在公司的服务器上,公司的自动程序和人手都能读到。一旦句子里出现“我要去伤人”这类内容,公司可能在没有警察上门索取的情况下,就自己把这段对话交出去。研究者把这种动作叫作主动报送。

报送有两张脸。二零二六年九月,一名佛罗里达女子对聊天机器人说要拿枪去打警长办公室,公司发现后通知了警方,她因书面威胁被捕;二零二六年二月,加拿大一名用户的账号因谈论枪支暴力被停用,公司没有报警,此人后来开枪打死八人。一边可能救下真实的受害者,一边可能把一个只是对着机器发泄的人送进调查程序,两头都是真事。

② 研究问题(要回答什么?)

这项研究要回答两个问题,一个是公司凭什么送,一个是公司讲没讲清楚。第一问:公司在什么条件下把用户的私密对话交给执法部门,才算站得住脚。第二问:几家主要公司的公开文件,到底把这些条件披露到了什么程度。

作者先把“正当”拆成可以逐条检查的标准,再拿着这份清单去读文件,看哪些条款对上了、哪些根本没提。他们特意限定了范围:只算公司自己发起、把对话交给国家机关的情形;警察拿着搜查令或紧急请求来要,不算;用户在公开帖子或第三方举报里闯的祸,也不算。另一个被排除的出口是提醒通道,也就是把风险告诉家长、用户指定的联系人或危机干预机构,那条路通向照顾而不是调查。

③ 研究方法(怎么做的?)

他们的做法是“按清单读文件”,学术上叫解释性文献分析。第一步是造尺子:先借来三种类似场景的规矩,心理医生与咨询师的保密例外、社交平台发现违法内容后的报告义务、电子邮件与短信被调取的规则,再从里面提炼出八条判断标准。每条都标了强度,有的缺了就完全不成立,有的允许开一个事先说好的窄口子,有的只是加分项。

第二步是收材料:六家公司公开可查的隐私政策、使用条款、安全说明、政府请求政策与报告,筛掉重复版本和新闻稿,最后留下二十七份。第三步是打分:三名评审各自独立地拿这八条去逐格判断,六家公司乘八条,一共四十八个格子。遇到“哪份文件说了算”这种歧义,就先定下读文件的四条规则,再回头重判受影响的格子,最后按多数意见定案。

④ 结果(发现了什么?)

结果相当一致:几乎每一格都写着“没讲”。没有任何一家公司要求风险目标必须是可以指认的人、地点或群体;没有任何一家说明究竟是哪些具体事实会触发报送;也没有任何一家提到报送之后会不会告诉用户。

只有一家把报送范围收窄到人身安全,也只有这一家写明由受过训练的人员来决定,并且它在二零二五年八月的说明里明确表示不把自伤案例交给警方。另有一家是唯一说明“交什么、交多少”的,它写了信息类型,也用“有限信息”这样的措辞限制数量。至于哪份文件说了算,六家公司全都没有交代,于是同一个问题,读安全说明和读隐私政策会得到不同答案。三名评审最后在四十八个格子里有四十一格一致,约八成五。

⑤ 讨论(这些发现说明什么?)

作者认为,最扎眼的不是哪一家做得差,而是所有公司都把边界留在两份文件的缝里。安全说明写得窄,隐私政策写得宽,而公司从没说哪一份优先。用户只读一份,就会得到完全不同的印象:读安全说明的人以为只有伤害他人的风险才会被报,读隐私政策的人则看到为了维护权利和财产也可以分享给政府。

这种模糊也许是刻意的。风险没法全部预先列出,标准写太窄可能漏掉真的袭击,写太宽又要担责任。可按作者的说法,谁改变信息的流向,举证责任就该落在谁身上,所以模糊的代价不该由用户承担。他们还担心寒蝉效应:如果人们不知道什么话会被送出去,连想求助的人都可能少说几句。至于“迫在眉睫”这条线,卡得太死会漏掉已经在买枪、踩点的对话,卡得太松又会滑向惩罚人“可能会做的事”。

⑥ 结论(最终结论 + 启示)

一句话,保护是原则,报送是例外,而且必须是事先公开的窄例外。作者给出一套可以照着写的条款:只在对话里的事实显示人身安全受到严重威胁时才报;原则上要求威胁迫在眉睫、目标可以指认,且只对已经买枪、踩点这类具体准备开一个事先声明的窄口子;交出去的信息要尽量少;由人来决定而不是机器;风险过去之后告诉用户。

他们还提出一个更远的主张:报送本身正当,不等于这段对话可以拿来给用户定罪。这一步需要国家另设一道司法审查的闸门,把“能不能把话送出去”和“能不能凭这些话处罚”拆成两个问题。对照这套标准,六家公司的公开文件都还没有做到。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

人工智能公司正在做一件法律既未明确要求、也未明确禁止的事:在没有国家请求的情况下,主动把用户与聊天机器人的对话交给执法部门。作者把这一行为定名为 proactive referral(主动报送),并以三个特征界定:公司未经请求而行动、信息来自用户与 AI 的私密对话、接收方是国家机关。据此,应搜查令或紧急请求的披露、基于公开帖子或第三方举报的报送均被排除;公司自发的另一条提醒通道(通知家长、用户指定联系人或危机资源)因通向照顾而非侦查,也不在评估范围内。

既有研究分成两条线。一条分析前沿开发者的隐私政策如何省略训练用途与保留期限(King et al., 2025);另一条讨论平台发现违法内容后的强制报告义务(18 U.S.C. § 2258A)及由此产生的报告质量与执法超载问题(Grossman et al., 2024)。Christakis (2026) 已指出公司是依据为电子邮件设计的紧急披露框架、在规模上私下作出报送决定,标准、数量与错误率基本不公开;Lior (2026) 主张仿 Tarasoff 建立狭窄的、逐案判断的保护或警告义务。语境完整性本身也已被用于政策文本与聊天机器人研究(Shvartzshnaider et al., 2019; Tran et al., 2025),但没有研究逐阶段给出报送的正当化条件,再以之系统比读主要公司的现行政策。本文的贡献在于:把语境完整性操作化为五阶段、八条标准(分三级强度)的评估框架,并对六家美国公司的二十七份公开文件完成解释性文献分析。

I. Theoretical Framework & Hypotheses(理论框架与假设)

理论基座是 Nissenbaum 的语境完整性:信息流由发送者、接收者、信息主体、信息类型、传输原则五个要素构成,任一要素改变即为一条新的流,须重新论证其正当性。作者把主动报送拆成对话—检测—复核—报送—后续使用五个阶段,逐阶段标注接收者、信息类型与传输原则的变化。基线不是经验规范,而是一项规范选择:对话只用于生成回答,任何其他用途或对外转移都需正当化,举证责任在改变流向的公司一侧。理由有三:AI 对话常含用户的私密倾诉;公司与用户之间存在严重的信息与权力不对称;转交给国家机器的后果难以逆转。

编号标准(所问问题)阶段与要素强度依据
1 严重性是否涉及对生命或人身安全的严重危害报送:传输原则必需SCA §2702、HIPAA、Cal. Civ. Code §56.10(c)(19)、§43.92 三者一致
2 即时性危害是否即将发生报送:传输原则推定(须事先公开的窄例外)三项规范均以某种形式要求,例外为本研究主张
3 目标可识别受威胁的人、地点或群体是否可辨报送:传输原则推定(须事先公开的窄例外)仅加州法要求,HIPAA 与 SCA 不要求
4 判断(谁决定、凭什么)(i) 是否基于对话中的事实;(ii) 是否人工复核;(iii) 决定性因素是否事先披露复核:接收者;报送:传输原则必需(i) 法律类比(HIPAA 善意、SCA 善意、§43.92);(ii)(iii) 本研究主张,参照 GDPR 第 22 条
5 适当接收方是否送予与风险匹配的接收方;自伤不送执法机关报送:接收者建议HIPAA「能防止或减轻威胁者」;排除自伤为本研究主张
6 信息最小化信息类型是否披露、是否只转移必要部分报送:信息类型必需HIPAA 最小必要、SCA 仅限与紧急情况相关的通信
7 后续使用的分离控制把对话本身作为处罚依据是否受另行控制后续使用:接收者、传输原则建议(由国家承担)类比 42 U.S.C. §290dd-2(c) 物质使用障碍治疗记录
8 事先告知与事后通知标准与程序是否事先披露;风险结束后是否告知用户检测、复核、报送;报送之后事先告知必需;事后通知建议HIPAA §164.520、§164.528;事后主动通知为本研究主张

强度的推导规则是:三项危害防止规范(HIPAA 的严重威胁披露、SCA 紧急披露、加州心理治疗师披露与保护义务)一致要求的条件定为必需;仅部分规范要求的定为推定,容许事先公开的窄例外;三项规范都不要求、由本研究补入或须由国家承担的条件定为建议。作者同时说明,规范间的一致只是比较基准,强度还取决于危害的严重程度、信息与权力落差、以及转交国家后难以逆转的后果——因此即时性虽被三项规范共同要求,仍被降为推定,以免漏掉已显露具体准备(如购置武器)但时间、目标未定的对话。

M. Materials & Methods(材料与方法)

R. Results(结果)

公司1 严重性2 即时性3 目标可识别4 判断5 接收方6 最小化8 事先告知8 事后通知
OpenAI收窄至人身安全(唯一)收窄至即时(唯一)收窄至对他人的风险,未要求可识别事实基础 + 人工复核(唯一);未披露决定性事实执法机关;自伤不报(唯一)仅列信息类型披露完整程序与标准(唯一)未提
Meta与权利、财产、反欺诈等并列为七种情形之一仅作举例,未收窄「你或他人」等宽泛表述仅「善意相信」;人工查看与报送无关执法机关、政府机关、关联方仅「信息」仅列情形;未说明决定者未提
Microsoft紧急情形单列,但另可报告针对公司、员工或客户的犯罪提及紧急或即时,未收窄宽泛「相信」/「善意相信」执法机关类型 + 数量限制(唯一)仅列情形未提
Anthropic人身安全与财产并列未计(「即时」见诸政府请求例外,按原则 4 排除)「任何人」「善意相信」政府、执法机关等仅列类型且范围开放仅列情形未提
xAI仅「安全」与「权利及财产」未提「任何人」未提;人员可查看内容但与报送无关未指明仅列类型仅列目的未提
Google仅「安全」与「权利及财产」未提未指明(「公众」)「善意相信」;人工可读但与报送无关未指明(「Google 之外」)仅「个人信息」仅列目的未提

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((人工智能对话主动报送))
    I 引言
      佛州女子被报送后被捕
      加拿大枪案未报送
      公司自行发起非应请求
    R 研究问题
      何种条件报送才算正当
      公开文件披露到什么程度
    M 方法
      解释性文献分析
      六家公司二十七份文件
      五阶段八条标准三级强度
      三名评审四十八个格子
    R 结果
      仅一家收窄到人身安全
      仅一家写明人工决定
      无人要求目标可识别
      无人承诺事后通知
      三家一致率八成五
    a 讨论
      窄说明与宽条款并存
      边界留白代价归公司
      即时性与预测风险
      报送不等于可惩罚
    D 结论
      保护为原则
      报送为窄例外
      标准须事先公开
      国家另设司法闸门

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。