🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
自动审核系统每天要判断几百万条网上消息里哪些有害，而它的判断并不公平。同样是普通聊天，有些人一发就被删，有些人被骂得很惨却没人管。研究早就发现，用非裔美国人英语写的推文，被标成冒犯的概率最高能到其他英语写法的两倍。还有研究发现，美国几位知名变装皇后的账号，被打出的有毒分数竟然比白人至上主义者的账号还高。
另一头的问题同样严重。在训练数据很少的语言里，系统的安全能力会突然垮掉：把英文的有害请求翻译成低资源语言，模型被绕过的比例能从不到百分之一涨到百分之七十九。世界上有七千多种语言，可系统的训练数据大多集中在少数几种。一边是误伤，一边是漏保护，过去大家把它们当成两个问题分开研究。这篇论文想说：它们其实是同一个毛病。
② 研究问题（要回答什么？）
这篇论文要回答的核心问题是，为什么自动审核系统会一边误封、一边漏保护，以及这两件事能不能用同一个原因解释。作者给出的答案是：系统判断有害时看的是表面形式，也就是用了哪些词、句子长什么样，而不是这句话在做什么事。一句“别告诉你妈妈我们聊过天”，如果是陌生人发给十三岁孩子，那是在做隔离；如果是哥哥说的，那是在准备惊喜。两句话一个字都不差，只看词的系统却给它们打一样的分。
围绕这个想法，作者提出两个可以检验的假设。第一个假设说，如果拿行为一样、说法不同的成对测试题去考，真正读懂行为的系统应该能把有害的那句排在前面，而且在每种语言里都做得到。第二个假设说，这样的系统在不同语言之间的表现差距，应该比只看词的系统更小。此外还有一个诊断指标：如果一个系统的设置同时决定了它在某种语言里误封多还是漏保护多，那就说明决定错误分布的是设置，不是语言本身。
③ 研究方法（怎么做的？）
作者没有新采集数据，而是把已经发表的研究证据整理成一份失败清单，一共七种失效模式。它们分别是：方言被当成脏话、圈内用语被当成攻击、群体名称被当成有害信号、标注者的偏见被写进标签、低资源语言整体失灵、混合语言和混合文字无人覆盖，以及根本没用脏词的有害行为完全看不见。
为了说明怎么量，他们设计了一套评测办法，核心要求有四条：测试题要由母语者写；有害句要配一句说法几乎一样但无害的对照句；每种语言都要同时报告误封率和漏掉率；最后把服务最好的语言和服务最差的语言之间的差距，当成头号结果公布。
然后用五个现成系统做示范：一个关键词词表、一个有毒言论分类器、两个不同大小的开源安全审核模型，还有一个多语言审核模型。测试材料来自公开测试集，覆盖十一种语言：英语、中文、西班牙语、意大利语、荷兰语、德语、葡萄牙语、法语、波兰语、阿拉伯语，以及用拉丁字母拼写的印地语。每种语言有八百多到九百多条无害对照题，还有一百多条不含脏词的隐含有害题。
他们还模拟了一个统计陷阱：就算每种语言其实被服务得一样好，仅凭随机波动，最好减最差也会是一个正数。
④ 结果（发现了什么？）
结果很不客气：五十五组系统乘语言的搭配里，有五十一组分不清有害行为和无害说法，离母语标注者的水平差六到五十五个百分点。五套系统没有一套全面达标。
最粗糙的关键词词表问题最典型。它在英语里误封了百分之五十二点七的无害句子，在中文里误封百分之四十一点五；可到了阿拉伯语，它只误封百分之四点三，看起来公平，实际把百分之百的隐含有害内容全漏掉了。它的误封率和漏掉率几乎完美反向：一种语言被覆盖得越多，就越容易被误封；覆盖得越少，就越没人保护。
有毒言论分类器误封更多，每种语言都在百分之三十九到六十二之间。两个开源审核模型明显更强，最好的那个在多语言测试里能到零点八七，但英语母语标注者的水平是零点九九，还是差了十二个百分点。更关键的是，能力变强并没有让所有语言一起变好：在九种语言上，大模型的排序能力从零点六五升到零点八一，可阿拉伯语和拉丁字母印地语几乎没动，还在零点五四到零点五九附近，接近瞎猜。于是最好和最差语言之间的差距，反而从零点二零拉大到零点三三。
还有一个系统最典型：它在阿拉伯语上误封最多，达到百分之六十九，同时漏掉的隐含有害内容也最多，达到百分之十五点九。同一种语言，既被过度封杀，又被保护不足。
⑤ 讨论（这些发现说明什么？）
作者认为，根子在于整套系统对什么叫有害的理解是词汇式的：有害就是出现了某些词、某些句式。可语言不是中立的。同一个词，在一个群体里是侮辱，在另一个群体里是亲昵；朋友之间的玩笑，在外人听来像挑衅。系统分不清长得像和真的在干坏事，于是把相似当成了有害。
这也解释了为什么资源最多的英语反而暴露了问题。非裔美国人英语是英语的一种方言，而英语是这个领域数据最多的语言。如果系统连自己最熟悉的语言的方言都会读错，那就不能只怪数据不够，还得问：我们到底让数据学了什么。
作者还提醒，两种错误会落在同一批人身上。一个说少数方言的人，既容易因为说话方式被误封，也容易因为针对他的攻击用了系统没见过的形式而得不到保护。所以只修一头会更糟：为了少误封而降低敏感度，会让这群人更没保护；为了提高保护而拉高敏感度，又会封掉更多正常说话。
他们还老实承认，按行为判断不是万灵药。读懂行为仍然需要懂那门语言，也需要更多上下文，而更多上下文意味着更多私人对话被拿去看。
⑥ 结论（最终结论 + 启示）
这篇论文的结论可以概括成一句话：伤害是行为，审核却还停在字面。
它给出的不只是批评，还有一把尺子：以后评价一个审核系统，不要只报一个平均分，而要按语言分别报误封率和漏掉率，再把服务最好和最差的语言之间的差距摆在最显眼的位置。因为一个平均分很漂亮的系统，可能对排在队尾的那群人来说非常糟糕。
对做系统的人，建议是先想清楚有害指的是什么行为，再用成对的测试题去验；对平台，建议是向供应商要分语言的错误率，而不是平均值；对监管者，建议是把语言之间的差距当成一项必须披露的风险指标。
作者也说明，这篇论文只验证了一半：它证明了现有系统确实主要看字面，但按行为判断会更好还只是有待检验的假设，因为相应的测试集目前还不存在。这既是局限，也是下一步该做的事。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
自动内容审核的分配不公已有两条相对独立的文献。其一是公平性文献：Sap 等（2019）发现非裔美国人英语的表面标记与毒性标签高度相关，模型会把这类推文判为冒犯的概率抬高至多两倍；Davidson 等（2019）在五个标注数据集上复现了系统性的种族偏差；Dias Oliva 等（2021）发现美国知名变装皇后的账号比白人至上主义者账号得分更“有毒”；Dixon 等（2018）与 Huang 等（2020）则测量了身份词与推断作者人口学特征带来的组间误差差异。其二是鲁棒性与覆盖文献：Joshi 等（2020）记录了七千多种语言之间的资源鸿沟；Nicholas 与 Bhatia（2023）、Yong 等（2023）、Deng 等（2024）表明低资源语言中的防护会大幅失效；AfriHate（Muhammad 等，2025）与 SEAHateCheck（Ng 等，2026）显示模型表现强烈依赖语言。两条文献通常分别以“公平”和“鲁棒”的名义被测量、报告与修补，Kiritchenko 等（2021）虽把两者并置，却未给出共同机制。本文的贡献有三：第一，论证过度封杀与保护不足共享同一成因，即从词汇与表面形式而非行为推断伤害，因而对任一方向的修补都必须以另一方向的测量为约束；第二，以语言或方言社群而非身份词作为差异单位，并以功能对照案例隔离行为与形式；第三，把由此得到的差距当作统计量处理，说明其少样本偏误与检验功效（第 6.1 节）。文中不评测也不点名任何商业服务或接口。
I. Theoretical Framework & Hypotheses（理论框架与假设）
本文的中心区分是伤害作为行为（harm as behaviour）与词汇表面（lexical surface）。行为定义把伤害落在互动中施害者所做的事情上：索取钱财、要求对家长保密以隔离未成年人、切断与支持网络的联系、以威胁换取服从；表面定义则落在是否出现若干词、短语或模式。诱骗研究支持前者：O’Connell（2003）把在线诱骗刻画为分阶段过程，Craven 等（2006）视其为对儿童、周围成人与环境的“准备”，Lorenzo-Dus 等（2016）基于 24 份已定罪诱骗者与成年诱饵的聊天记录，提出以欺骗性信任建立、隔离（保密为其一环）、服从试探与性脱敏为核心的模型，且这些策略以重叠网络而非固定序列运作。其中称赞、闲聊、询问孩子的一天都不含任何关键词可捕获的词。行为在各语言中普遍存在，承载行为的词则不然，故功能是更稳定的跨语言目标；由此，表面导向的判定会在七处系统性偏离功能判定。
| 编号 | 失效模式 | 机制 | 证据 |
|---|---|---|---|
| 1 | 方言惩罚 | 方言的语法或词汇特征被当作伤害标记 | Sap 等 2019；Davidson 等 2019 |
| 2 | 圈内语言被读成圈外攻击 | 被回收的贬称、mock impoliteness、亲昵脏话被判为辱骂 | Dias Oliva 等 2021；Röttger 等 2021 表 1 |
| 3 | 身份词成为假信号 | 辱骂数据常提及群体名称，名称本身变成伤害证据 | Dixon 等 2018；第 6.2 节 |
| 4 | 标注者视角被写进标签 | 标注者的信念与身份成为系统对伤害的定义 | Sap 等 2022；Blodgett 等 2020 |
| 5 | 低资源崩塌 | 训练数据稀少的语言中检测与安全行为急剧退化 | Nicholas 与 Bhatia 2023；Yong 等 2023；Deng 等 2024；Muhammad 等 2025；Ng 等 2026 |
| 6 | 混合语言与混合文字 | 语码转换与转写文本落在各语言资源之间，评测集少有覆盖 | Bohra 等 2018；Yoo 等 2024；第 6.2 节 |
| 7 | 无词汇的行为 | 伤害由行为而非标记词承载，任何语言的词表都看不见 | 隐含有害基准（Röttger 等 2021；ElSherief 等 2021；Hartvigsen 等 2022）；第 6.2 节 |
据此提出两个可证伪假设与一个诊断。H1（区分）：在按功能对照的案例上，功能导向系统应在所服务的每种语言中把有害案例排在其无害“双胞胎”之上，且不劣于单名母语标注者的平衡准确率；若以整模板重抽样的 95% 区间整体位于零以上，则判定不达标。H2（稳定性）：区分能力相近时，功能导向系统的跨语言差异应更小。耦合诊断检验同一种按语言设定（词表覆盖率，或该语言分数相对固定阈值的位置）是否同时抬高误封率与漏检率：强负相关说明错误分布由覆盖或校准决定，而非由消息功能决定。作者亦声明行为框架仍需该语言资源，其话语模型主要来自英语的诱骗者与诱饵日志，且需要更多上下文，因而带来更多私人言语暴露。
M. Materials & Methods（材料与方法）
- 数据。HateCheck（英语）与 Multilingual HateCheck（另十种语言，由母语专家撰写或校验）。两层：无害对照（每语言 882–973 条，其余抽样至少 418 条）与无词汇仇恨（138–145 条，无贬称、脏话的隐晦贬损）。
- 五系统。(a) HurtLex 保守词元表（五十余种语言，剔除高频词，中文按子串）；(b) XLM-RoBERTa-large 分类器（训练含 11 种中的 8 种），阈值 0.5，另测 0.3 与 0.7；(c) Qwen3Guard-Gen-0.6B；(d) Qwen3Guard-Gen-8B；(e) PolyGuard-Qwen（7B，17 种语言含全部 11 种）。后三者以“用户请求加空助手回复”输入，返回 Unsafe 或概率 ≥0.5 即命中；属跨任务使用。
- 操作化与 H1。以阈值无关的 AUC 对照标注者平衡准确率，区分“读不懂功能”与“校准失当”；44 个可评分组合中 42 个的系统工作点准确率不高于 AUC，故未达 H1 属保守结论。
- 差距与统计。固定工作点取最好减最差；等服务水平期望差距用整模板置换获得，报告观测差距、超出量、5,000 次置换 p 值、最差语言 Wilson 区间，或用 Lum 等（2022）校正方差。模拟：真实错误率同为 10% 时，10 种语言各 100 例期望差距 9.2 个百分点、各 400 例为 4.6；分层百分位自助法从不覆盖真实零差距，对 10 个百分点差距覆盖率仅 64–76%。功效：基线 10% 时每语言约 200 例可检出 10 个百分点差距，5 个百分点约需 800 例。
R. Results（结果）
- 总体。55 个系统×语言组合中 51 个可靠地未达母语标注者标准，差距 6–55 个百分点（模板级自助法，2,000 次重抽样）；去掉英语后 50 个组合中仍有 46 个不达标。仅四个例外：三个法语（审核模型达到或超过标注者，但法语标注者把 55% 的无害对照判为仇恨，标准低是因案例有争议），以及 PolyGuard 荷兰语（0.85 对 0.90，差值区间刚触及零）。最好的英语结果 PolyGuard 0.87，仍比英语标注者 0.99 低 12 个百分点。
- 区分度。词表平衡准确率 0.43–0.53，分类器 AUC 0.52–0.64，小审核模型 0.54–0.73，8B 模型 0.54–0.84，PolyGuard 0.54–0.87；单名母语标注者 0.70–0.99。
- 能力与差距。九种语言上的平均 AUC 由 0.65 升至 0.81，阿拉伯语与拉丁化印地语几乎不动（小模型 0.55/0.54，8B 0.59/0.54，PolyGuard 0.59/0.54，尽管两者都在 PolyGuard 的 17 种训练语言内）；跨语言区分度极差由 0.20 扩至 0.29、0.33，能力抬高上限而最差语言获益最少。
- 单向报告陷阱。拉丁化印地语上词表误封 0.0%（其列最佳）却漏检 100%；三个审核模型的误封率也是全语言最低（22.7%、19.9%、56.7%），漏检却最高（72.1%、77.1%、40.0%）。只报误封率，会让读得最差的语言看起来最公平（失效模式 6）。
| 系统 | 无害对照误封 | 隐含有害漏检 | 区分度 | 差距（观测 vs 等服务水平） | 结论 |
|---|---|---|---|---|---|
| 关键词词表（HurtLex） | 英语 52.7%，中文 41.5%，阿拉伯语 4.3% | 54.3–100%（阿拉伯语、印地语 100%） | 平衡准确率 0.43–0.53 | 误封 52.7 vs 8.5；漏检 45.7 vs 19.7（均 p<0.001） | 覆盖率决定语言被封杀还是被放弃；ρ=−0.91（去印地语 −0.88） |
| 有毒言论分类器（XLM-R） | 每种语言 39–62% | 18.6–54.3% | AUC 0.52–0.64（英语最低 0.52） | 误封 22.6 vs 10.1（p<0.001）；漏检 35.7 vs 23.3（p=0.03） | 耦合来自逐语言校准而非覆盖；ρ=−0.73，p=0.01 |
| Qwen3Guard-Gen-0.6B | 十种语言 40–50%，印地语 22.7% | 英语 15%，其余 19–50%，印地语 72.1% | AUC 0.54–0.73 | 漏检 57.1 vs 22.7（p<0.001）；去印地语 34.7 vs 21.0（p=0.01）；误封差距不显著（9.9 vs 11.6，p=0.70） | 误封跨语言均匀，保护随离英语距离衰减；ρ=−0.23，p=0.50 |
| Qwen3Guard-Gen-8B | 20–31% | 九种语言 9–24%，阿拉伯语 63%，印地语 77% | AUC 0.54–0.84 | 漏检 68.6 vs 23.5；去印地语 54.9 vs 20.1（均 p<0.001）；误封 11.2 vs 11.6（p=0.52） | 能力抬高上限，最差语言获益最少 |
| PolyGuard-Qwen（7B） | 57–69%（阿拉伯语 69.0%，Wilson 65.9–72.0） | 阿拉伯语与印地语外 0.7–5.7%；阿拉伯语 15.9%（10.8–22.7）；印地语 40.0% | AUC 0.54–0.87（英语 0.87） | 漏检 39.3 vs 12.7（p<0.001）；去印地语 15.1 vs 8.4（p=0.003）；误封 12.3 vs 12.6（p=0.50） | 同一语言两头受害；ρ=+0.65（去印地语，p=0.04） |
a / D. Discussion & Conclusion（讨论与结论）
- 理论意义。把公平性与鲁棒性两条文献读成同一成因，差异单位从身份词移到语言社群，并以“伤害作为行为”为不偏袒任何说话方式的目标；耦合诊断说明覆盖与校准而非功能决定错误分布。
- 统计贡献。最好减最差是极值统计量：等服务水平下 10 种语言各 100 例仍产生 9.2 个百分点期望差距，各 400 例为 4.6；分层百分位自助法从不覆盖真实零差距，对 10 个百分点差距覆盖率仅 64–76%。故建议报告 Wilson 区间、置换期望差距、超出量与 p 值、最差语言错误率，并给出约 200 与 800 例的功效要求；这接续 Lum 等（2022）的偏差校正、Andrews（2000）的边界自助法失效与 Ioannidis（2008）的赢家诅咒。
- 实践启示。构建者应先按功能定义伤害并用对照对验证；平台应索取分语言双向错误率，把不确定案例转给人工审核；监管者可要求欧盟数字服务法第 34、35 条与英国在线安全法第 9、11 条按语言披露风险评估；资助方应支持诈骗、胁迫、诱骗等母语数据集与社区共有评测集。
- 局限。除第 6.2 节外无新测量，H2 未检验；失效模式 6、7 在仇恨言论之外是论证而非测量；测试集为合成模板材料，11 种语言无一属低资源，可能低估差距；HateCheck 自 2021 年公开，可能与训练数据重叠；AUC 比较两组功能不同的案例而非最小对立对；第 6.1 节假设案例独立。
- 利益冲突。三位作者均与 Tuteliq AB 有关联（创始人兼首席执行官、联合创始人兼首席科学官、高级顾问），该公司开发行为式有害对话检测系统；作者声明未评测任何商业服务或该公司产品，原文未报告资助。
🧠 IRMaD 思维导图
mindmap
root((审核看词不看行为))
I 引言
误封与漏保护并存
非裔英语误判两倍
变装皇后分数更高
低资源语言防护崩塌
R 问题
两种错误同一成因
伤害是行为不是词
成对测试隔离形式
行为跨语言更稳定
M 方法
七类失效模式
五个现成系统
十一种语言测试
最好最差差距成头条
自助区间不可靠
R 结果
五十五组五十一组不达标
词表英语误封过半
阿拉伯语隐含有害全漏
能力越强差距越大
一种语言两头受害
a 讨论
词表覆盖决定封杀
分类器校准决定错误
大模型只抬高上限
单向报告会骗人
D 结论
按语言双向报告
差距当成头号指标
行为判断待检验
需母语者测试集
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。