🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
社交平台每天都在屏蔽海量的违规内容，可审核系统和发内容的人其实一直在互相较劲。发广告、赌博、色情或辱骂信息的人，会不断换说法来绕过机器审核，比如用谐音、拆字、加符号、说黑话，甚至把联系方式藏进“下午一点三十九分路过一二三号楼”这种看起来无害的句子里。
过去的评测大多拿一批固定不变的坏话去考审核模型，看它认不认得出。但真实世界里，发帖的人一旦发现被拦下来，会立刻换个写法再发一次，如此反复。这种“你拦我改、我再改你再拦”的循环，静态测试完全测不出来，于是离线分数很高，真上线却经常失灵。这正是本文想要解决的问题。
② 研究问题（要回答什么？）
这篇论文要回答的是，如果让攻击者像真人一样一轮轮改写内容，审核系统到底还扛不扛得住。具体拆成几个小问题。
第一，真实平台上逃过审核的违规内容长什么样，能不能整理成可复用的攻击套路。第二，如果把这些套路做成一个会自我进化的评测框架，主流审核模型的防线会被打穿到什么程度。第三，模型更大、更强，面对这种反复改写是不是一样脆弱。第四，模型能不能既骗过审核、又让人类一眼看懂原来的坏意思，因为如果改得连人都看不懂，那就不算真正意义上的攻击成功。
③ 研究方法（怎么做的？）
研究者先攒了一份“真实战利品”清单，再从里面提炼出会自己进化的攻击策略。他们从电商、社交和本地生活平台上，收集了五千零二条已经成功逃过审核、后来被用户举报的违规内容，并全部做了匿名处理。五位专业审核员逐条标注风险类别、原本的意思和改写手法。
接着用一套文本嵌入聚类的方法，把意思和套路相近的样本归到同一个语义小簇里，一共得到二百二十九个小簇。评测时，每个小簇配一个“改写策略”，让一个大模型照着策略去改写整簇样本。第二个模型当审核员，判断改写后还能不能拦下。第三个模型判断人类还能不能读懂原意。系统再根据反馈自动诊断失败原因、升级策略，只保留让攻击更成功的版本，如此循环十二轮。为了让比较公平，三个辅助模型全程固定用同一个模型，只有被考的那个审核模型在换。
④ 结果（发现了什么？）
十二轮改写之后，结果相当扎眼，主流的商用审核大模型平均有八成的内容拦不住。其中防线最松的一款，攻击成功率接近百分之八十九。体量更小的开源模型更惨，平均超过九成。作为对照，如果不做任何改写、直接把原文丢给同样的审核模型，平均漏检率只有三成八左右；一旦加上反复改写，这个数字直接涨到八成，整整多出四十二个百分点。
按内容类型看，色情和赌博欺诈类最容易被蒙混过关，辱骂类相对好一些，但也照样有漏洞。在二百二十九个语义小簇里，有一百三十九个的攻击成功率超过八成，说明失败往往不是个别例子，而是成片出现的套路。此外，用防违规数据做过专门微调的小模型，防御力提升非常有限，有的甚至更差。
⑤ 讨论（这些发现说明什么？）
作者认为，这些数字说明静态评测严重低估了审核系统的脆弱程度。因为真实用户是看着系统的反馈不断调整的，只看一次性测试，测不出这种“边打边学”的适应能力。研究还发现，拿防违规数据专门微调过的模型，防御力提升很有限，说明“记住见过的坏话”并不等于“能扛住没见过的改写”。
作者进一步指出，这暴露了当前语言模型的一个共性短板：当坏意思被包装成灵活的人类语言技巧时，模型很难稳定地还原出真实意图，哪怕人一看就懂。更值得注意的是，这些漏洞并不只在被专门优化的那个模型身上出现，换一个没被攻击过的审核模型，攻击效果仍然保留了大半。
⑥ 结论（最终结论 + 启示）
这项研究最终想推动的，是让内容安全评测从“一次性的静态考试”换成“来回过招的动态对练”。作者强调，只有让攻击策略在评测过程中不断进化，才能逼近真实平台上的对抗生态，测出模型真正的防线。
他们把自己收集的数据、评测框架和代码开放出来，希望后续研究少用固定题库、多测动态对抗。同时也提醒，这套工具本身有被滥用的风险，所以只公开评测框架，不公开原始的违规样本，使用者需要签署仅用于防御研究的承诺。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
自动化内容审核是中文社交与电商平台的关键基础设施，近年来审核管线正从 BERT 式过滤模型转向 LLM 审核模型。然而在真实平台上，恶意用户会持续适应审核反馈，用谐音、拆字、隐喻、社区黑话等手段改写表达，因此有效的审核系统必须在自适应对抗下保持鲁棒，而非只在固定用语模式上表现良好。
现有主流基准——COLD、SafetyBench、ChineseHarm-Bench、HateCheck、Jigsaw——均为静态数据集，只能检验模型是否识别“见过的”规避变体，无法刻画用户在反馈驱动下迭代改写的对抗生态，由此造成离线分数与上线效果的系统性错配。近年 STATE ToxiCN、EVADE-Bench、LiveSecBench 虽引入对抗采集样本，但仍在固定测试集上评测；PAIR、TAP 等迭代攻击框架则面向越狱生成安全，而非内容审核，且以单样本为优化单位。
本文贡献有三：(1) 构建一个来自真实平台、经专家标注的大规模对抗违规数据集，并做严格匿名化；(2) 提出 EvoHarmBench，首个面向内容审核的动态对抗评测框架，以语义簇为可复用单位、在人类可读约束下迭代进化规避策略；(3) 系统评测十三种主流审核系统，证明静态基准显著低估了审核脆弱性。
I. Theoretical Framework & Hypotheses（理论框架与假设）
本文属于评测协议设计类工作，不提出形式化假设，而以两条设计原则与四个核心问题组织：规避必须同时满足“骗过审核”与“人类可读”两个信号，且攻击策略应以语义簇为单位共享而非逐样本优化。
| 编号 | 核心问题 / 设计原则 | 评测方式 |
|---|---|---|
| RQ1 | 真实平台上逃逸审核的对抗样本呈现何种可复用形态 | 5,002 条真实样本 + 专家标注 + 语义聚类 |
| RQ2 | 簇级策略能否在人类可读约束下持续提升规避成功率 | ASR@Readable 随迭代轮数 (0–12) 变化 |
| RQ3 | 模型规模与安全微调是否改变脆弱性 | 7 款 SOTA 模型组 vs 3 款十亿级开源模型（含 SFT） |
| RQ4 | 离线一次性审核与动态迭代评测的差距有多大 | Direct Audit 基线 vs 12 轮迭代 |
| 原则 | 攻击须同时“避拦”且“保意”，损失原意则记为 0 分 | Score(s;X)=均值(b_x·c_x) |
该框架把评判权交给两个可分离信号：blind_score（是否被拦）与 comparison_score（原意保全程度），从而把“只是删掉了风险”的伪攻击排除在成功之外。
M. Materials & Methods（材料与方法）
- 数据资源：5,002 条来自电商、社交、本地生活平台的真实对抗样本，均为逃逸审核后被用户举报的违规内容；预处理全量匿名化，并用 LLM 预筛保留具规避行为的样本。覆盖五类违规：广告引流、赌博欺诈、辱骂攻击、色情低俗、灌水刷屏。
- 人工标注：5 位具平台安全审核经验的专家，每条由 2 位独立标注、再由第 3 位复核。标注项为：(1) 风险类别、(2) 原意直译、(3) 改写策略。标注单价约 2.45 元/条。
- 语义聚类：用 bge-m3 编码，L2 归一化后按欧氏距离做 DBSCAN；引流类 ε=0.5、min_samples=10，其余四类 ε=0.35、min_samples=8；对样本数 > 2,000 的大簇做递归二次分裂；最终每组上限 25 条、下限 5 条。得到 47 个基类，扩展为 229 个评测子簇（引流 9/44、色情 19/54、辱骂 3/42、灌水 6/43、赌博 10/46）。
- 迭代评测协议（GEPA 式）：每个子簇维护一个簇级改写策略 s，每轮三步：Rewrite（改写模型按 s_t 生成整簇改写）、Evaluate（审核模型做 Blind Test 得 b_x 与理由 r_x；比较模型得原意保全分 c_x 与诊断 d_x）、Reflect（反思模型依据失败模式诊断提出 s_{t+1}）。仅当簇级得分严格提升才接受新策略，保证单调改进；t=1…T，T=12。
- 打分公式：
Score(s;X) = (1/|X|) Σ_{x∈X} b_x · c_x；成功判据Succ(x) = I[b_x = 1 ∧ c_x ≥ 0.5]；主指标ASR@Readable(X) = (1/|X|) Σ_{x∈X} Succ(x)。比较模型的 1–5 分线性归一为comparison_score = (s − 1)/4。 - 模型与设置：被评测 13 个审核骨干——7 款 SOTA（GPT-5.5、Claude Sonnet 4.6、Gemini 3.1 Pro、Qwen 3.6 Plus、Kimi K2.6、DeepSeek V4 Pro、GLM 5.1）与 3 款十亿级开源模型（Qwen3-4B、Qwen3-8B、DeepSeek-V2-Lite）各自的原版与安全 SFT 版。改写/比较/反思三个自适应组件固定用 DeepSeek-V3.2-Exp。评分组件 temperature=0、单轮无历史；改写模型 temperature=0.7。
- SFT 配置：5,000 条生产平台真实样本、危害/非危害 1:1；二分类“是/否”任务；LoRA (r=64, α=8, dropout=0)，BF16，lr=1e-5，3 epoch，cosine 调度，warmup=0.01，weight decay=0.1，最大长度 512，单张 A100 80GB。
R. Results（结果）
- 主结果（12 轮迭代，ASR@Readable %）：7 款 SOTA 模型组平均 80.3%，其中 GLM 5.1 最高 88.8%、DeepSeek V4 Pro 86.2%、Kimi K2.6 85.4%、Qwen 3.6 Plus 82.8%，而 GPT-5.5/Claude Sonnet 4.6/Gemini 3.1 Pro 均在 73.0–73.2%。十亿级开源模型组平均 91.2%，Qwen3-4B 92.2%、DeepSeek-V2-Lite 90.6%、Qwen3-8B 91.2%。
- 离线 vs 动态的差距（Direct Audit 对照）：SOTA 组直接审核平均漏检率 38.4%，12 轮迭代后升至 80.3%，净增 42.0 个百分点；逐模型增幅 +35.9（Gemini）到 +45.8（Kimi）不等。提示词宽严无法解释这一差距，因为两侧判定规则一致。
- 安全 SFT 效果有限：Qwen3-4B 由 92.2% 降至 89.1%（小幅改善）；Qwen3-8B 91.2%→91.4%、DeepSeek-V2-Lite 90.6%→92.5%，几乎无改善甚至变差，说明静态审核数据微调对反馈驱动的迭代改写迁移很弱。
- 类别差异：色情（91.7%）与赌博欺诈（89.8%）最脆弱，广告引流 82.2%、灌水 78.0%，辱骂类（62.5%）相对最稳。
- 簇级与迭代形态：229 个语义簇中有 139 个 ASR@Readable 超过 80%；攻击成功率在早期轮次快速上升后趋于平台，说明少量交互轮数就足以找到有效规避模式。
- 稳健性检验：固定 Gemini 3.1 Pro 为目标，自适应骨干换成 Qwen3-32B 时整体仅 39.9%、换成 GPT-5.5 时仅 12.29%（GPT-5.5 有 79.49% 请求被拒绝/合规改写/风险警告），表明攻击强度对自适应骨干敏感。跨模型迁移：把某模型的末轮改写不再优化地丢给其他模型审核，目标 ASR@Readable 为 48.7–55.4%，迁移比为 65.7–73.2%，说明漏洞并非仅由同模型反馈自洽造成。
- 可复现性：20 个固定簇（每类 4 个）× 3 次独立运行，标准差均低于 1.5 个百分点（平均 0.6），但单簇 ASR 波动区间达 40%–100%。
| 审核模型 | 色情 | 辱骂 | 灌水 | 赌博 | 引流 | 整体 |
|---|---|---|---|---|---|---|
| GPT-5.5 | 78.9 | 46.8 | 65.8 | 97.7 | 82.0 | 73.1 |
| Claude Sonnet 4.6 | 85.2 | 57.4 | 61.7 | 84.5 | 79.2 | 73.2 |
| Gemini 3.1 Pro | 94.3 | 48.3 | 72.4 | 71.2 | 81.6 | 73.0 |
| GLM 5.1 | 98.5 | 78.6 | 91.6 | 90.5 | 87.2 | 88.8 |
| SOTA 组平均 | 91.7 | 62.5 | 78.0 | 89.8 | 82.2 | 80.3 |
| 十亿级组平均 | 93.4 | 95.3 | 82.9 | 99.7 | 86.0 | 91.2 |
| 审核模型 | 直接审核漏检 | 迭代 ASR | 增幅(pp) |
|---|---|---|---|
| GPT-5.5 | 31.7 | 73.1 | +41.4 |
| Claude Sonnet 4.6 | 36.2 | 73.2 | +36.9 |
| Gemini 3.1 Pro | 37.1 | 73.0 | +35.9 |
| Kimi K2.6 | 39.6 | 85.4 | +45.8 |
| GLM 5.1 | 43.3 | 88.8 | +45.5 |
| 平均 | 38.4 | 80.3 | +42.0 |
a / D. Discussion & Conclusion（讨论与结论）
- 理论意义：结果指向当前语言模型的一个共性局限——当危害意图以灵活的人类语言策略表达时，模型难以鲁棒地还原意图，即便人类读者仍能轻松理解。这为“审核鲁棒性不能靠静态模式匹配获得”提供了量化证据，也解释了离线基准与上线效果长期错配的机制。
- 方法学效度：ASR@Readable 经人工核验偏保守：在 438 条通过审核的样本上，阈值 c ≥ 0.5 的精确率 83.8%、召回率 64.0%、总准确率 60.7%，而 81.3% 的样本被人类判为仍有害，因此自动分更接近“人类感知攻击成功率”的下界，分歧多为低估而非高估。
- 实践启示：平台不应仅以静态基准分数评估审核模型；应把“反馈驱动、可读性约束下的迭代对抗”纳入验收，并注意十亿级小模型在自适应改写前近乎失效，安全 SFT 无法补齐。
- 局限：(1) 面向对抗改写违规内容，不测对良性输入的误杀，因而不是平衡的审核质量评估；(2) 目前仅在中国内容平台上实例化，其数据分布、变异模式与平台惯例未必直接迁移到其他语言或场景；(3) 改写/比较/诊断/反思等自适应组件全部由 LLM 驱动，可能引入评测者偏差或对底层模型能力的依赖。
- 伦理与开放：识别到双重用途风险，仅发布评测框架而不发布原始对抗样本与平台元数据，通过受控流程开放；PII 全量遮蔽、元数据剥离、并对随机 10% 子集做人工复核。资助信息论文未列出；作者隶属阿里巴巴集团 Yuvion Team 与 University of Chinese Academy of Sciences。
🧠 IRMaD 思维导图
mindmap
root((审核动态对抗评测))
I 引言
审核转向大模型
静态基准测不出迭代
真人反馈驱动改写
离线分数与上线错配
R 问题
RQ1 真实对抗样本形态
RQ2 迭代攻击能打多深
RQ3 大小模型是否一样脆
RQ4 可读与规避如何平衡
M 方法
五千零二条真实样本
五大违规类别
五位专家标注
bge m3 加 DBSCAN 聚类
二百二十九个语义簇
GEPA 迭代优化策略
十二轮改写与反思
R 结果
顶尖审核模型八成失守
开源小模型均超九成
直接审核三成八漏检
升级幅度四十二个百分点
色情赌博类最脆弱
辱骂类相对最稳
一百三十九簇超八成
a 讨论
静态评测低估脆弱性
微调只记住见过的表达
模型难还原灵活语言
自适应骨干显著影响
跨模型仍有转移效果
D 结论
转向动态对抗评测
开放框架受限发布
仅中文平台待扩展
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。