🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
你有没有用过那种会写代码、会查资料、还会自己开网页的 AI 助手?在它回答你之前,其实先收到了一份你看不见的开场白,行话叫系统提示词。这段话规定它是谁、能用哪些工具、输出什么格式、哪些事绝对不许做。
这份开场白平常不公开。一旦被泄露出来,媒体和网友就爱把它当成厂商的自白书:看,这家公司偷偷让 AI 别提某个话题,那家公司在暗中设了底线。于是大家形成一种印象——系统提示词主要是一份价值观声明,像贴在墙上的家规。
可真实情况可能更像说明书:告诉你螺丝怎么拧、接口在哪、出错先查哪一行。家规只有几条,说明书却可以写到几万字。问题是,到底哪一种占多数,此前没人认真数过。大家手里的证据是零星截图和印象,就像只翻了说明书的其中一页,就断定整本书讲的是家风。
这篇论文决定先不猜。它把四个民间仓库里收集的四百零七份系统提示词全部并到一起,逐块分类、逐条统计,看这些文档到底在讲工具怎么用,还是在讲价值观。
② 研究问题(要回答什么?)
研究者把要弄清的事拆成四个问题。
- 第一,这批文档里都有什么?是聊天助手、编程助手,还是能自己跑任务的智能体?每一类的篇幅差多少?
- 第二,有多少是抄来的?不同厂商、不同仓库之间,有多少文字是一字不差搬过去的,多少只是意思相近,多少是结构长得像?
- 第三,篇幅都花在哪?工具调用、格式要求、法律风险、安全政策、身份设定、防注入,哪一类词最多?哪些规则被写得最凶?
- 第四,版本是怎么变的?每发一版,加了多少词、删了多少词,改的是工具还是安全?维护起来累不累?
注意,这不是一篇讨论该不该管 AI 的文章。它做的是清点:先把文本里有什么摆清楚,再谈这意味着什么。作者反复提醒,因为材料大多来路不正,所有百分比只能看方向,不能当精确刻度。
背后还有一个隐含追问:如果这些文档主要是操作说明,那么“对齐”“安全”的位置就得重新安放,不能只靠翻提示词找答案。
③ 研究方法(怎么做的?)
做法可以想象成给一堆散落的说明书编目录。
第一步,把材料凑齐。研究者合并了四个由社区维护的提示词仓库,采集时间是 2026 年 6 月 17 日到 7 月 11 日。剔掉不是提示词的东西(纯工具接口定义、说明文件、构建脚本、编程助手自带的手册)之后,剩下四百零七份,来自六十二家厂商。
第二步,去掉重复。四个仓库各自收集,同一份文档常被抄好几遍。研究者用连续五个词做指纹比对,相似度超过 0.85 才判为重复,还加了一道保险:如果文件名里的型号、版本对不上,就不合并——同一个模型同日发布的两个档位可能像到 0.97,却是两份东西。最后找到二十九个重复簇,涉及六十六份文件,等于有三百七十份是真正独立的。重复的也没扔,留着当“抄得对不对”的旁证。
第三步,给每份贴标签。人工把文档分成六类:聊天助手一百五十五份、编程智能体一百零八份、自主智能体二十二份、应用搭建器十八份、窄用途助手九十九份、搜索研究助手五份。再标一个“姿态”:偏操作、偏谨慎、偏求真。
第四步,数词。把每份文档切成段,按最强关键词塞进八个桶:工具协议、安全政策、法律版权、格式风格、身份人设、记忆上下文、注入边界、其他。再用一批固定的关键词规则,去抓“必须”“绝不”“严禁”这类强调句,看它们盯的是什么。
第五步,做质检。随机抽四十八段人工核对桶标签,对了三十五段,准确率约七成三。所以文章反复说:数字看方向,别当刻度。
④ 结果(发现了什么?)
数出来的结果,和“家规”的印象差得很远。
被分类的词里,工具与协议占的份额。
安全政策占的份额,只有前者的十一分之一。
最凶的规则行里,管工具和管有害内容的比例。
再看那些写得最用力的句子。全文一共找出四千七百二十五条带“必须”“绝不”“严禁”的规则行,其中管工具怎么调用的有六百三十九条,管改文件、跑代码别出事的四百七十八条,管格式的四百六十八条,而管有害内容的只有五十六条。
一个漂亮的对照是官方版和泄露版。Anthropic 公开过五份官方提示词,字数三千上下,安全政策占三成四;同样这几个型号的泄露版,字数两万上下,是官方版的六点六倍,工具协议占五成七,安全反而掉到百分之九。也就是说,公开的那一小段是“家规”,泄露出来的那一大坨是“说明书”。
还有复用的证据。两个编程助手 Cline 和 RooCode,文字相似度 0.745,RooCode 有54% 的片段能在 Cline 里原样找到——因为前者本来就是后者的开源分支。但也有另一种情况:Devin 和 Amp 意思像到 0.915,字面重合只有 0.014,说明大家在想同一件事,而不是互相抄。
最后是维护成本。官方版本每发一次,平均增删一千三百多词;泄露版链条一步能增删一万五千词,差了十倍以上。有一份三万四千九百词的长提示词,里面塞了九百多处会过期的引用:网址、日期、模型版本号。
⑤ 讨论(这些发现说明什么?)
作者从这些数字里读出三层意思。
第一,这些文档主要是操作文件,不是价值宣言。工具怎么调、文件怎么改、输出什么格式、能不能上网,这些占了绝大多数篇幅和最严厉的措辞。安全与法律条款确实存在,占比却小得多。作者特意补了一句:占比小不等于不重要,一句话也能定生死;但这确实说明,把它当“厂商良心”来读是读偏了。
第二,抄和像,是两件不同的事。字面重合集中在少数几个编程助手家族,能指认出真实的分支与同源关系;而语义和结构上的相似,大多发生在完全没有共用文字的产品之间——那是行业在同一个问题上收敛到了相似的写法,不能当成抄袭指控。
第三,维护提示词像维护软件。版本链条一次动辄几千词,里面还硬编码了大量会过期的网址和型号;同一个文件里既有“要简洁”又有“要详尽”,既有“先问清楚”又有“别问直接做”。这些正是软件工程里的技术债和配置腐化。
作者也坦白了自己的软肋:材料大多来自抽取和社区重建,来路无法核实,可能残缺、可能被改;分类器很简陋,抽检只有七成多准确;人工标签只有一个人打。所以全文的百分比都是方向性的,说的是“看到的这些文档”,不是“厂商真正的政策”。
⑥ 结论(最终结论 + 启示)
结论一句话:泄露的系统提示词,更像配置文件,不像价值观声明。
这句话有两层用处。对做安全的人来说,红队该盯的是工具调用和数据边界,而不是只测它会不会拒绝聊天,因为真正写满“绝不”的地方在那里。对做产品的人来说,提示词该像代码一样管:进版本库、做回归测试、写静态检查,专门抓过期的网址、失效的型号和互相打架的指令。
还有一个更大的提醒:既然各家都在解决同一批工程问题,写法越来越像,那么提示词的复用与腐化就不只是某家公司的事,而是整条供应链的事。谁在抄谁、谁的分支从哪来、谁的配置老了没更新,都会顺着这条链传下去。反过来说,如果哪家厂商的提示词突然长得像别家,这条链也能帮人看出端倪。
当然,这一切还只是文本层面的观察。这些差异会不会真的改变模型的行为,作者说,得等下一步实验来验证才算数。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
系统提示词(system prompt)是部署后模型在首个用户回合之前收到的常驻指令层,规定身份、工具集、输出格式、拒绝与升级行为,以及安全、法律与产品规范。在产品团队手里,它几乎是唯一可用的直接控制手段,却极少被公开、更少被直接研究。
既有文献主要把它当作攻击目标:提示词抽取、间接注入、越狱探测,实践者框架(OWASP LLM Top 10、MITRE ATLAS、NIST 生成式 AI 档案)已将提示词层列为一等应用风险。但这些工作问的是“能否被取出或覆盖”,不问“取出来的文本到底写了什么”。透明度文献(model cards、datasheets、constitutional AI)讨论厂商应当公开什么,同样不考察实际流通文本的构成。
本文的贡献有三:(1)语料——合并四个社区维护的提示词仓库,得 407 份编码文件、62 家厂商、2026-06-17 至 07-11 采集,并显式处理跨仓库近重复;(2)测量——块级功能分类、三种相似度(字面/语义/结构)、强调规则行、注入防御、版本差分与腐化标记;(3)校准——借 Anthropic 官方发布档案做五对官方/泄露配对,把“公开文本偏安全、泄露文本偏工具”的差异量化。
I. Theoretical Framework & Hypotheses(理论框架与假设)
本文不设因果假设,而把四个研究问题对应到四组概念工具与操作化方案;核心是一个可证伪的判别命题:若系统提示词是价值声明,安全/法律/拒绝类词汇应占主导,最严厉的规则应集中在有害内容;若它是配置文本,工具协议与文件安全应主导,安全措辞应退居次要。下表给出问题与框架的对应。
| 编号 | 研究问题 | 概念框架 | 操作化 |
|---|---|---|---|
| RQ1 | 语料由哪些类型的提示词构成 | 文档类型学:原型 × 价值姿态 | 六类原型与三档姿态(操作/谨慎/求真)人工标注 |
| RQ2 | 跨提示词、厂商与仓库的复用程度 | 软件克隆检测:字面复制 vs 架构趋同 | 5-gram Jaccard 与非对称包含、MiniLM 语义、骨架 profile 相似度 |
| RQ3 | 哪些关切在文本中最常见 | 功能块分类法 + 风险分类学 | 八桶块级分类器、强调规则行、法律与注入检测器 |
| RQ4 | 版本在长度、内容与自主性上如何演化 | 技术债理论(配置腐化) | 逐版本词级 diff、腐化标记、张力检测、工具自主性指数 |
该框架的解释力落在“机制分层”上:字面复用指向供应链上的真实文本转移,语义与结构相似指向行业惯例收敛,两者必须分开测量,否则会把趋同误判为抄袭。
M. Materials & Methods(材料与方法)
- 语料构建与来源:合并四个独立维护的社区集合——CL4R1T4S(commit 09916a9,66 份)、System-Prompts(0d04045,30 份)、system-prompts-and-models-of-ai-tools(570364c,112 份)、system_prompts_leaks(5d3c769,231 份)。排除无自然语言指令的工具调用 JSON schema、README/许可/索引文件、构建脚本,以及编程助手自带的工具文档,最终 407 份编码文件、62 家厂商。
- 来源与伦理处理:407 份中 31 份标记为 provenance=official(Anthropic 在 platform.claude.com/docs 自行发布的版本说明提示词,2024-07-12 至 2026-05-28),其余 376 份为泄露或社区重建。全部材料均为已公开文本,作者声明不做新的抽取攻击、不发布任何用户隐私数据、只报告厂商层面的聚合结果而不逐条复述可能助长抽取或规避的指令;相似度分数仅描述文档关系,不构成对任何机构抄袭或合谋的指控。
- 近重复检测:厂商内部计算词 5-gram Jaccard,以 0.85 为阈值做连通分量聚类,并设版本守卫——若两个文件名带有互斥的型号/版本标记则不连边(Anthropic Opus/Sonnet 同日配对可达 0.97 却属不同模型)。得 29 簇覆盖 66 份文件(均 2.3,最大 4),余 370 份独立文档;保留全部文件并标注簇号,同时报告 407 与 370 两个口径。341/407 份无跨仓库重复。
- 人工标注:六类原型(聊天助手 155、编程智能体 108、自主智能体 22、应用搭建器 18、窄用途/嵌入 99、搜索研究 5)与三档价值姿态(操作 236、谨慎 156、求真 15),单一编码者,属明确的效度威胁。
- 块级功能分类:按段落切块,以最强词汇匹配归入八桶之一(工具/协议、安全政策、法律/IP、格式/风格、身份/人设、记忆/上下文、注入边界、其他);混合用途段落整体计入主导桶,因而低估次要关切。分母为全部 407 份的分类词。
- 分类器验证:分层抽取 48 块(每桶 6 块)与金标签比对,总体精确率 35/48(73%);法律/IP 6/6,注入边界、身份、记忆各 5/6,格式、工具/协议、安全政策各 4/6,其他 2/6。为关键词自动评分而非独立人工编码,每桶 n=6 不足以给出置信区间。
- 正则检测器:覆盖强调标记、能力族、危害类别、注入防御技术、格式要求、语气标记、法律风险类别、腐化标记、拒绝语境与矛盾/张力标记;确定性可审计,但会多计许可性提及、漏计改写。
- 三重相似度:TF–IDF 余弦(词 1–2-gram)、词 5-gram Jaccard 与非对称包含、MiniLM 句向量(all-MiniLM-L6-v2,256 token 分块,均值池化并 L2 归一化);结构骨架法剥离自然语言、保留 XML 标签/标题/代码块/列表标记,以骨架 1–2-gram 的 profile 余弦与序列 shingle 比较,并以 token 打乱零模型检验(有序 0.038 vs 打乱 0.031)。成对分析用 95 份代表子集(每厂商 × 原型取最长文件),其余分析用全量。
- 版本差分:五条链(Anthropic 官方 Sonnet 与 Opus、CL4R1T4S 泄露 Claude 链、ChatGPT、Grok),词级序列匹配,替换同时计入删除与新增,故 diff 度量的是周转而非净增长。
- 外部交叉检验:PromptLint(规则静态分析)与 textstat(可读性)在全部 407 份上独立运行,二者不共享本文正则。
R. Results(结果)
- 语料构成:聊天助手最多也最长(5,630 词,SD 7,114),应用搭建器均值最高(7,153 词),窄用途最短(1,368 词)。价值姿态集中在对话侧:155 份聊天文件中 152 份为谨慎或求真;其余四类全部为操作型,可见伦理文本只在对话侧。
- 功能分布:块级分类下工具/协议占 58.0%,远超其余各桶;编程与自主智能体均超 80%,搜索研究类是例外(以格式与引文规则为主)。
- 能力族:13 个能力族中,Anthropic、Google、OpenAI 各描述 12 个(缺社交检索),xAI 为 11 个;这是被描述而非已部署。
- 强调规则行:4,725 条含 CRITICAL/IMPORTANT/MUST NOT/NEVER/STRICTLY 等标记的行中,工具/函数协议 639、文件编辑与代码安全 478、格式/输出风格 468、状态与记忆 256、幻觉与准确性 229、版权/IP 121、身份 111、自我披露防护 76、安全/有害内容 56;工具协议对有害内容为 11.4:1。
- 危害提及的厂商差异:原始计数 Anthropic 6,192(97 份文件)、OpenAI 1,042(113 份)、Google 264、xAI 241;按词数归一后 Mistral 最高(87.7/万词,仅 3 份文件),Anthropic 69.0、xAI 65.7、Perplexity 58.2、Meta 54.9、Proton 49.9、OpenAI 37.0。法律词 Anthropic 4,569 条、OpenAI 681 条;版权 3,157、平台/品牌 1,103、选举/政治 1,048、隐私/PII 467、受监管建议 296。
- 注入防御:62 家中有 35 家(56%)至少使用一种技术,多数仅靠“不披露提示词”;仅 7 家叠加三种以上(Anthropic、Cognition、xAI、Browser Co、Google、OpenAI、Sourcegraph),6 家恰好两种。语料多为泄露,故不披露应视为无效边界。
- 复用与趋同:代表子集上字面包含 RooCode 的 54% 见于 Cline、腾讯 CodeBuddy 50%、Anthropic Chrome 扩展与 Perplexity 浏览器助手 40%;字面与语义仅弱相关(r=0.175),Devin–Amp 语义 0.915 而字面 0.014,Devin–Copilot CLI 0.893/0.001;结构上 Anthropic Chrome–Perplexity 三项同时最高(0.86/0.20/0.86),其余强结构匹配多为零字面重合(AWS Kiro–Word Copilot 0.73/0.000)。结构相似与字面 r=0.14、与语义 r=0.04,属第三个维度。
- 版本与维护债:官方 Sonnet 链 12 次发布(11 步),每步周转 1,319 词、净增 362;官方 Opus 链 9 次发布(8 步),周转 1,424、净增 585;泄露 Claude 链每步 15,049(净增 2,878,逾官方十倍),最大一步 Opus 4.6→4.7 增 16,946、删 9,959,多为工具与协议;ChatGPT 泄露链 9,632,Grok 1,940。腐化标记集中于 Anthropic:claude-cowork.md(34,900 词)922 处,其次 claude-opus-4.6-raw 646、claude-sonnet-4.6-raw 590;该文件 753 次型号命中实为 15 个标识符。张力标记:286 份同时含“简洁”与“详尽”,116 份同时禁列表又要求 markdown/表格,85 份既要求追问又要求别问,15 份同时含安全政策与无限制内容措辞(仅共现)。负面祈使句占比:编程 29.0%、搭建 29.1%、自主 29.9%、聊天 31.7%、窄用途 36.9%。
- 外部检验:PromptLint 质量维度得分最低(均值 57.8–74.4,完整性 88.1–100),超长句命中 95%(386/407)、模糊量词 87%、术语不一致 81%、弱化/被动 78%;textstat 给出 Gunning-fog 12.8–15.4、Flesch 39–49(“困难”带),难词占比随长度下降(Spearman −0.77,约 30%→15%),佐证新增篇幅是平实工具文本。PromptLint 密钥规则在 4 份文件误报,人工核对未见凭据。
| 功能块 | 词数占比 | 典型内容 |
|---|---|---|
| 工具/协议 | 58.0% | 函数调用、参数格式、审批边界 |
| 格式/风格 | 12.4% | markdown、列表、语气 |
| 记忆/上下文 | 7.4% | 历史会话、检索片段 |
| 安全政策 | 5.4% | 有害内容、拒绝口径 |
| 身份/人设 | 2.9% | 自称与角色设定 |
| 法律/IP | 2.1% | 版权、品牌、选举 |
| 注入边界 | 0.2% | 显式不可信数据标记 |
| 其他 | 11.7% | 兜底 |
| 官方/泄露配对 | 官方词数 | 泄露词数 | 倍数 | 官方文本被包含 |
|---|---|---|---|---|
| Fable 5 | 2,677 | 17,501 | 6.5× | 88% |
| Opus 4.6 | 2,819 | 14,190 | 5.0× | 86% |
| Opus 4.7 | 3,678 | 21,177 | 5.8× | 76% |
| Opus 4.8 | 3,344 | 24,784 | 7.4× | 94% |
| Sonnet 4.6 | 2,882 | 23,425 | 8.1× | 38% |
| 均值 | 3,080 | 20,215 | 6.6× | 76% |
五对官方版块级构成为安全 34.5%、工具 17.1%,泄露版反转为工具 57.2%、安全 8.9%;Sonnet 4.6 的 38% 属离群。
a / D. Discussion & Conclusion(讨论与结论)
- 理论意义:提示词的主要负载是操作规范而非规范伦理,这修正了“泄露=价值观暴露”的公共解读,也把提示词抽取与间接注入研究的威胁模型对齐——被抽取的多是产品与工具逻辑,被注入攻击的多是操作指令而非拒绝规则。官方/泄露配对进一步显示,公开文本本身就是被裁剪过的安全叙事,透明度实践因而存在“安全展示”与“工具基础设施”之间的系统性落差。
- 治理与工程启示:提示词应纳入版本控制、回归测试与静态检查,重点抓过期引用(网址、日期、模型标识、依赖版本)与互相矛盾的指令;这是配置管理与供应链治理问题,而非单纯的写作问题。安全侧应把红队重点从对话拒绝迁移到工具调用与数据处理边界。对监管者而言,提示词的复用与同源关系提示了责任追溯的可能路径,但文本相似不等于合谋,结论必须限定在文档层面。
- 伦理与合法性:研究只使用已公开文本,不做新抽取、不发布隐私数据、不逐条复述可助长攻击的指令,只报告厂商级聚合;这是把“泄露材料研究”做成可发表工作的必要前提,也意味着研究结论不能反过来充当对具体厂商的合规判定。
- 局限:来源以对抗性获取为主,完整性、真实性与时间均不可核;仅五对官方配对可校准,Sonnet 4.6 包含率仅 38%;块分类器总体 73%、工具与安全各 4/6,且为关键词自动评分;人工标签单一编码者;能力与自主性只是“被描述”,不等于运行时权限;341/407 份无跨仓库重复;分析纯文本,未连接部署行为。
- 未来方向:引入双人编码与 κ 系数,区分许可性与禁止性安全提及,扩充官方/泄露配对,并把提示词层面的差异与模型实际行为做因果连接。
- 资助:欧盟 Horizon Europe 项目 SAFEHORIZON(101168562)与 CYMEDSEC(101094218),以及比雷埃夫斯大学研究中心(UPRC)。
🧠 IRMaD 思维导图
mindmap
root((系统提示词不是家规))
I 背景
隐形常驻指令层
泄露被读成价值观
缺大规模内容清点
Q 问题
语料有哪些类型
复用到底有多少
哪些关切最常见
版本怎么演化
M 方法
四个社区仓库合并
四百零七份六十二家
二十九簇六十六份
八桶块级分类器
字面语义结构三测
官方泄露五对配对
R 结果
工具协议五成八
安全政策五点四
严格规则十一比一
官方版扩六点六倍
泄漏链每步一万五
腐化标记九百二十二
a 讨论
更像配置文件
字面复用与架构趋同
维护债是工程问题
来源不可验是硬伤
D 结论
提示词进版本库
回归测试与静态检查
红队盯工具边界
方向性结论待验证
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。