arXiv preprint · 407 份系统提示词 · 62 家厂商 · 比雷埃夫斯大学与雅典娜研究中心

是配置,不是良心:大语言模型系统提示词的大规模实证研究

Constantinos Patsakis, Vasilios Argyropoulos, Efthymios Alepis · arXiv preprint · 2026 · arXiv: 2609.31575
原题:Configuration, Not Conscience: A Large-Scale Empirical Study of LLM System Prompts
提示词·Skill·语料库的治理应用 AI·医学·科技伦理 Open Access 新颖度 0.79

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

你有没有用过那种会写代码、会查资料、还会自己开网页的 AI 助手?在它回答你之前,其实先收到了一份你看不见的开场白,行话叫系统提示词。这段话规定它是谁、能用哪些工具、输出什么格式、哪些事绝对不许做。

这份开场白平常不公开。一旦被泄露出来,媒体和网友就爱把它当成厂商的自白书:看,这家公司偷偷让 AI 别提某个话题,那家公司在暗中设了底线。于是大家形成一种印象——系统提示词主要是一份价值观声明,像贴在墙上的家规。

可真实情况可能更像说明书:告诉你螺丝怎么拧、接口在哪、出错先查哪一行。家规只有几条,说明书却可以写到几万字。问题是,到底哪一种占多数,此前没人认真数过。大家手里的证据是零星截图和印象,就像只翻了说明书的其中一页,就断定整本书讲的是家风。

这篇论文决定先不猜。它把四个民间仓库里收集的四百零七份系统提示词全部并到一起,逐块分类、逐条统计,看这些文档到底在讲工具怎么用,还是在讲价值观。

② 研究问题(要回答什么?)

研究者把要弄清的事拆成四个问题。

注意,这不是一篇讨论该不该管 AI 的文章。它做的是清点:先把文本里有什么摆清楚,再谈这意味着什么。作者反复提醒,因为材料大多来路不正,所有百分比只能看方向,不能当精确刻度。

背后还有一个隐含追问:如果这些文档主要是操作说明,那么“对齐”“安全”的位置就得重新安放,不能只靠翻提示词找答案。

③ 研究方法(怎么做的?)

做法可以想象成给一堆散落的说明书编目录。

第一步,把材料凑齐。研究者合并了四个由社区维护的提示词仓库,采集时间是 2026 年 6 月 17 日到 7 月 11 日。剔掉不是提示词的东西(纯工具接口定义、说明文件、构建脚本、编程助手自带的手册)之后,剩下四百零七份,来自六十二家厂商。

第二步,去掉重复。四个仓库各自收集,同一份文档常被抄好几遍。研究者用连续五个词做指纹比对,相似度超过 0.85 才判为重复,还加了一道保险:如果文件名里的型号、版本对不上,就不合并——同一个模型同日发布的两个档位可能像到 0.97,却是两份东西。最后找到二十九个重复簇,涉及六十六份文件,等于有三百七十份是真正独立的。重复的也没扔,留着当“抄得对不对”的旁证。

第三步,给每份贴标签。人工把文档分成六类:聊天助手一百五十五份、编程智能体一百零八份、自主智能体二十二份、应用搭建器十八份、窄用途助手九十九份、搜索研究助手五份。再标一个“姿态”:偏操作、偏谨慎、偏求真。

第四步,数词。把每份文档切成段,按最强关键词塞进八个桶:工具协议、安全政策、法律版权、格式风格、身份人设、记忆上下文、注入边界、其他。再用一批固定的关键词规则,去抓“必须”“绝不”“严禁”这类强调句,看它们盯的是什么。

第五步,做质检。随机抽四十八段人工核对桶标签,对了三十五段,准确率约七成三。所以文章反复说:数字看方向,别当刻度。

④ 结果(发现了什么?)

数出来的结果,和“家规”的印象差得很远。

58.0%
被分类的词里,工具与协议占的份额。
5.4%
安全政策占的份额,只有前者的十一分之一。
11.4 : 1
最凶的规则行里,管工具和管有害内容的比例。

再看那些写得最用力的句子。全文一共找出四千七百二十五条带“必须”“绝不”“严禁”的规则行,其中管工具怎么调用的有六百三十九条,管改文件、跑代码别出事的四百七十八条,管格式的四百六十八条,而管有害内容的只有五十六条。

一个漂亮的对照是官方版和泄露版。Anthropic 公开过五份官方提示词,字数三千上下,安全政策占三成四;同样这几个型号的泄露版,字数两万上下,是官方版的六点六倍,工具协议占五成七,安全反而掉到百分之九。也就是说,公开的那一小段是“家规”,泄露出来的那一大坨是“说明书”。

还有复用的证据。两个编程助手 Cline 和 RooCode,文字相似度 0.745,RooCode 有54% 的片段能在 Cline 里原样找到——因为前者本来就是后者的开源分支。但也有另一种情况:Devin 和 Amp 意思像到 0.915,字面重合只有 0.014,说明大家在想同一件事,而不是互相抄。

最后是维护成本。官方版本每发一次,平均增删一千三百多词;泄露版链条一步能增删一万五千词,差了十倍以上。有一份三万四千九百词的长提示词,里面塞了九百多处会过期的引用:网址、日期、模型版本号。

⑤ 讨论(这些发现说明什么?)

作者从这些数字里读出三层意思。

第一,这些文档主要是操作文件,不是价值宣言。工具怎么调、文件怎么改、输出什么格式、能不能上网,这些占了绝大多数篇幅和最严厉的措辞。安全与法律条款确实存在,占比却小得多。作者特意补了一句:占比小不等于不重要,一句话也能定生死;但这确实说明,把它当“厂商良心”来读是读偏了。

第二,抄和像,是两件不同的事。字面重合集中在少数几个编程助手家族,能指认出真实的分支与同源关系;而语义和结构上的相似,大多发生在完全没有共用文字的产品之间——那是行业在同一个问题上收敛到了相似的写法,不能当成抄袭指控。

第三,维护提示词像维护软件。版本链条一次动辄几千词,里面还硬编码了大量会过期的网址和型号;同一个文件里既有“要简洁”又有“要详尽”,既有“先问清楚”又有“别问直接做”。这些正是软件工程里的技术债和配置腐化。

作者也坦白了自己的软肋:材料大多来自抽取和社区重建,来路无法核实,可能残缺、可能被改;分类器很简陋,抽检只有七成多准确;人工标签只有一个人打。所以全文的百分比都是方向性的,说的是“看到的这些文档”,不是“厂商真正的政策”。

⑥ 结论(最终结论 + 启示)

结论一句话:泄露的系统提示词,更像配置文件,不像价值观声明。

这句话有两层用处。对做安全的人来说,红队该盯的是工具调用和数据边界,而不是只测它会不会拒绝聊天,因为真正写满“绝不”的地方在那里。对做产品的人来说,提示词该像代码一样管:进版本库、做回归测试、写静态检查,专门抓过期的网址、失效的型号和互相打架的指令。

还有一个更大的提醒:既然各家都在解决同一批工程问题,写法越来越像,那么提示词的复用与腐化就不只是某家公司的事,而是整条供应链的事。谁在抄谁、谁的分支从哪来、谁的配置老了没更新,都会顺着这条链传下去。反过来说,如果哪家厂商的提示词突然长得像别家,这条链也能帮人看出端倪。

当然,这一切还只是文本层面的观察。这些差异会不会真的改变模型的行为,作者说,得等下一步实验来验证才算数。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

系统提示词(system prompt)是部署后模型在首个用户回合之前收到的常驻指令层,规定身份、工具集、输出格式、拒绝与升级行为,以及安全、法律与产品规范。在产品团队手里,它几乎是唯一可用的直接控制手段,却极少被公开、更少被直接研究。

既有文献主要把它当作攻击目标:提示词抽取、间接注入、越狱探测,实践者框架(OWASP LLM Top 10、MITRE ATLAS、NIST 生成式 AI 档案)已将提示词层列为一等应用风险。但这些工作问的是“能否被取出或覆盖”,不问“取出来的文本到底写了什么”。透明度文献(model cards、datasheets、constitutional AI)讨论厂商应当公开什么,同样不考察实际流通文本的构成。

本文的贡献有三:(1)语料——合并四个社区维护的提示词仓库,得 407 份编码文件、62 家厂商、2026-06-17 至 07-11 采集,并显式处理跨仓库近重复;(2)测量——块级功能分类、三种相似度(字面/语义/结构)、强调规则行、注入防御、版本差分与腐化标记;(3)校准——借 Anthropic 官方发布档案做五对官方/泄露配对,把“公开文本偏安全、泄露文本偏工具”的差异量化。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文不设因果假设,而把四个研究问题对应到四组概念工具与操作化方案;核心是一个可证伪的判别命题:若系统提示词是价值声明,安全/法律/拒绝类词汇应占主导,最严厉的规则应集中在有害内容;若它是配置文本,工具协议与文件安全应主导,安全措辞应退居次要。下表给出问题与框架的对应。

编号研究问题概念框架操作化
RQ1语料由哪些类型的提示词构成文档类型学:原型 × 价值姿态六类原型与三档姿态(操作/谨慎/求真)人工标注
RQ2跨提示词、厂商与仓库的复用程度软件克隆检测:字面复制 vs 架构趋同5-gram Jaccard 与非对称包含、MiniLM 语义、骨架 profile 相似度
RQ3哪些关切在文本中最常见功能块分类法 + 风险分类学八桶块级分类器、强调规则行、法律与注入检测器
RQ4版本在长度、内容与自主性上如何演化技术债理论(配置腐化)逐版本词级 diff、腐化标记、张力检测、工具自主性指数

该框架的解释力落在“机制分层”上:字面复用指向供应链上的真实文本转移,语义与结构相似指向行业惯例收敛,两者必须分开测量,否则会把趋同误判为抄袭。

M. Materials & Methods(材料与方法)

R. Results(结果)

功能块词数占比典型内容
工具/协议58.0%函数调用、参数格式、审批边界
格式/风格12.4%markdown、列表、语气
记忆/上下文7.4%历史会话、检索片段
安全政策5.4%有害内容、拒绝口径
身份/人设2.9%自称与角色设定
法律/IP2.1%版权、品牌、选举
注入边界0.2%显式不可信数据标记
其他11.7%兜底
官方/泄露配对官方词数泄露词数倍数官方文本被包含
Fable 52,67717,5016.5×88%
Opus 4.62,81914,1905.0×86%
Opus 4.73,67821,1775.8×76%
Opus 4.83,34424,7847.4×94%
Sonnet 4.62,88223,4258.1×38%
均值3,08020,2156.6×76%

五对官方版块级构成为安全 34.5%、工具 17.1%,泄露版反转为工具 57.2%、安全 8.9%;Sonnet 4.6 的 38% 属离群。

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((系统提示词不是家规))
    I 背景
      隐形常驻指令层
      泄露被读成价值观
      缺大规模内容清点
    Q 问题
      语料有哪些类型
      复用到底有多少
      哪些关切最常见
      版本怎么演化
    M 方法
      四个社区仓库合并
      四百零七份六十二家
      二十九簇六十六份
      八桶块级分类器
      字面语义结构三测
      官方泄露五对配对
    R 结果
      工具协议五成八
      安全政策五点四
      严格规则十一比一
      官方版扩六点六倍
      泄漏链每步一万五
      腐化标记九百二十二
    a 讨论
      更像配置文件
      字面复用与架构趋同
      维护债是工程问题
      来源不可验是硬伤
    D 结论
      提示词进版本库
      回归测试与静态检查
      红队盯工具边界
      方向性结论待验证

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。