🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
过去二十多年,人们查一个陌生名词,第一反应往往是打开维基百科。它没有主编,靠成千上万的志愿者一条条写、一条条改,最后竟然成了全世界最大的百科全书。这套办法之所以能让人信服,是因为它有一条硬规矩:任何一句话,都得在下面注明是从哪儿看来的。换句话说,维基百科的权威不是自己封的,而是它引用的那些书、论文、报纸和政府文件替它撑起来的。
现在情况变了。有人用大模型直接生成了一部百科,名字叫 Grokipedia,词条和维基百科一一对应,但正文和引文都是机器写的。这就带来一个很实际的问题:如果连“该信谁”这件事也交给机器决定,它会不会挑一批完全不同的机构来给自己作证?要知道,引一篇同行评议的论文和引一条网友留言,在页面上都只是一行小字,背后的分量却完全不同。这篇论文想做的,就是把这两部百科的“引文账本”摊开来,一条一条地对。
② 研究问题(要回答什么?)
这项研究要弄清楚的核心问题是,人类编的百科和机器编的百科,请来的“权威”是不是同一批人。作者把它拆成三个可以量的子问题。
第一,两边在“引多少”上有没有差别。也就是同样长度的文章,各自标注了多少出处;文章越长,出处是跟着涨,还是另有规律。
第二,两边在“引谁”上有没有差别。作者把引文按来源分成八类,比如学术论文、政府文件、新闻、智库报告、企业材料、评论文章、工具书、网友发言,然后比两边的比例。
第三,这种差别会不会因为话题不同而变样。写历史和写物理,能引的东西本来就不一样,所以还得按文化、地理、历史与社会、理工四个大类分开看。
作者还给这个整体现象起了个名字,叫“认识论替代”。意思不是说某一条引文被换掉了,而是说,为同一个知识点作担保的那批机构,整体换了一批人。
③ 研究方法(怎么做的?)
研究团队的做法,有点像给两家超市做进货盘点。他们先定下要比哪些货架,再把两家的同类货架一一对上,最后一件一件登记货源。
选货架的办法是看“被修改次数”。他们从维基百科的“修改次数最多”榜单上往下捋,取了排在最前面的条目,这些大多是明星、国家、历史事件,属于被反复打磨过的热门话题。接着按标题一模一样地去 Grokipedia 找对应页面,找不到的、或者只是列表和年表的,都剔掉。一共查了一千零四十八条,二十条在对面没有页面,二十八条不合要求,最后剩下一千对。
登记货源是最费劲的一步。维基百科一个脚注里可能塞了好几本书,就得拆成好几条;Grokipedia 一个脚注只放一条,直接记一条。两边加起来一共将近六十万条引文。
然后给每条引文贴标签。标签一共八类,不是现成借来的,而是先让四个大模型各自提一套方案,再由作者合并定稿。定稿时还写了两条消歧规则。一条说“看具体作品,不看挂在哪个网站”,比如《纽约时报》上的一篇社论要算评论,不能算新闻;另一条说“看书本身,不看链接指向的目录页”,比如一本学术专著挂在谷歌图书上,仍然算学术。
为了确认贴标签靠不靠谱,他们让两个模型在四百条样本上各贴一遍,再请两位真人编码员复核其中两百条。结果有好有坏,后面会讲。
④ 结果(发现了什么?)
结果的方向非常一致,机器编的百科确实请了一批不一样的“担保人”。
先看引多少。同样一千个词,维基百科平均标出三十四个出处,Grokipedia 只有约二十二个。而且 Grokipedia 的文章普遍更长、出处反而更少,显得“话多凭证少”。更有意思的是规律性:Grokipedia 每多写一千个词,就稳定地多出约二十一条引文,几乎像按配额发放;维基百科则忽多忽少,长文章里引文增长还会放缓。在统计上,Grokipedia 的拟合优度也明显更高。
再看引谁。把近六十万条引文汇总起来,维基百科有超过四成是新闻,约两成七是学术论文,两项加起来超过七成。Grokipedia 的新闻只占三成出头,学术论文不到一成。反过来,它引网友发言的比例是维基百科的近五倍,引智库和非政府组织报告是近三倍,引企业材料、工具书、政府文件和评论也都更多。
分话题看,这个方向没有变。四个大类里,Grokipedia 的学术引用比例都更低。差距最大的是历史与社会类,维基百科三成六对 Grokipedia 一成四;差距最小的是理工类,三成五对两成五;文化类最悬殊,维基百科一成四,Grokipedia 不到半成。
最后看整体像不像。一千对文章里,近一半的引文结构相似度超过九成,说明不少条目其实长得挺像;但也有少数条目天差地别,比如《大屠杀》《美国独立战争》这些历史政治题材。
⑤ 讨论(这些发现说明什么?)
作者把这种现象命名为“认识论替代”,并且反复强调一件事:这不是在排质量高低。
他们解释说,一篇论文、一份政府公报、一条网友留言,背后的把关机制完全不同。论文要过同行评议,新闻要有编辑和事实核查,政府文件有行政程序,而网友发言基本没有门槛。所以引文结构的变化,实际上反映的是“谁有资格替知识作保”这件事在变。
但作者很谨慎地划了界线。他们说,八类标签描述的是来源的“类型”,不是“可信度”。学术来源也不保证说得对,网友发言也不一定就是错的。他们能证明的只是:同一个话题,两部百科请来的机构构成不一样。
还有一个耐人寻味的发现。作者把每篇文章的引文画成网络,看哪些来源经常一起出现。维基百科里,学术论文和新闻、工具书、智库报告连成一片,处在网络的中心。Grokipedia 里,学术论文竟然落到平均线以下,干脆不在核心网络里;反倒是网友发言和企业材料、新闻连得很紧。作者说这有点像机器在按固定比例配货:不管写什么话题,都往里掺一点各类来源。
他们也承认,为什么会这样现在说不清。Grokipedia 的检索和生成规则没有公开,可能是模型习惯,可能是检索设置,也可能是人工指令。
⑥ 结论(最终结论 + 启示)
这项研究最后落在一个很朴素的主张上:对机器生成的知识,得能查账。
作者提出的“认识论画像”其实是一套可复制的审计办法。不管一个系统内部怎么运转,只要它把引文摆在外面,就能一条条分类、比较、追踪。这套办法不只适用于百科,也能搬到搜索引擎、推荐系统和检索增强的问答系统上。
他们还做了一次时间上的对照。六十九个条目在十个月里被看了两遍,引文密度几乎没动,但来源构成变了:新闻降了三个多百分点,工具书涨了两个多百分点。另外,在更大的样本里,有二十九个条目引用了 Grokipedia 自己,一共两百六十九条。作者说,这说明一部百科的“认识论画像”不是一成不变的。
当然,作者自己列了五条限制:样本是高频修改的热门条目,代表不了整部百科;平台还在变;分类靠模型,模型之间也有分歧;只看引文结构,没查引文对不对;维基百科本身也不是中立标尺。所以他们的结论是方向性的,不是终审判决。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
百科全书是观察知识权威结构的最佳切片。自 2001 年以来,维基百科以去中心化的协作模式证明,认识论权威不必依赖具名专家的集中审稿,而可由开放编辑与共识机制生成,其可验证性政策要求每条论断附上可查证的出处,使引文成为“权威被外包给哪些机构”的可观测痕迹。这一线索可回溯到信息科学对知识如何被组织、合法化与验证的传统关切。
生成式 AI 改写了这一格局。Grokipedia 由大模型自动生成条目并自动挑选引文,使“由谁作保”这一环节第一次可以在没有人类编辑直接参与的情况下完成。既有研究已从多角度比较两个平台:Mohammadi 与 Yasseri 发现约三分之一条目高度相似、其余被大幅改写,改写条目每词引文更少且在宗教、历史、文艺等话题上更多引用偏右媒体;Triedman 与 Mantzarlis 比较最常被引域名,发现 Grokipedia 更多引用维基百科“常年不可靠来源”清单上的站点;Eibl 等与 Vlahos 等分别从政治框定与政治人物传记的意识形态偏斜切入;Hadad 等分析 Grokipedia 对维基条目的选择与改写机制;Leung 与 Strumpf 则以 Grokipedia 上线作为自然实验,发现被“复制”的维基传记页面随后获得更多浏览与人工编辑。
这些研究的共同盲点在于分析单位:多数以域名或文本相似度为单位,尚未对完整引文库逐条分类。然而同一域名下可以并存新闻、社论与用户视频,同一份“可靠来源”也可能代表与学术论文完全不同的权威类型。本文的贡献因此有三。其一,提出“认识论画像”(epistemic profile)这一操作化概念,用八类互斥来源刻画引文的机构构成。其二,在 1,000 对同名条目、594,172 条引文上给出逐条分类的估计及其不确定性。其三,以“认识论替代”(epistemic substitution)概括同一话题下权威构成的系统性位移,并提供可复用的审计框架。
I. Theoretical Framework & Hypotheses(理论框架与假设)
本文不设方向性假设,而以三个研究问题组织,分别对应引文的“量”“构成”与“情境依赖”。理论落点在 Wilson 的认知权威(cognitive authority)与 Rieh 的可信度判断:引文被视为外部权威的可观测痕迹,而非真值保证。作者借 Buckland 的“信息即物”(information-as-thing)把引文当作可分类、可比较的信息人工物,从而把“权威结构”转成可测量的分布问题。所谓“认识论替代”,指的不是个别引文被替换,也不是生成过程的复原,而是同一话题下被援引的机构类型构成发生系统性位移。
| 编号 | 研究问题 | 操作化指标 | 方法依据 |
|---|---|---|---|
| RQ1 | 两平台在外部引文使用上有何差异 | 每千词引文数;引文数对词数的线性/二次 OLS;对数—对数弹性 | 引文密度作为支持强度的代理 |
| RQ2 | 各自赋予哪些机构为论断作保的资格 | 八类来源的合并占比与条目级均值占比 | Wilson 认知权威;Buckland 信息即物 |
| RQ3 | 权威结构是否随主题重构 | 四域分层占比;JS 距离;Shannon 熵;余弦相似度;共现网络与主题同配性 | 分布距离与网络同配性检验 |
需要强调的是,八类标签刻画的是来源类型而非来源质量,既不度量事实准确性、可靠性或政治偏向,也不度量引文是否真的支持了对应论断,因此不构成可信度的排序。
M. Materials & Methods(材料与方法)
- 抽样与匹配:以英文维基百科 Special:MostRevisions(按累计修订次数排序)为抽样框,2026 年 9 月 13 日经 MediaWiki API 抓取。排除 List of / Deaths in / Timeline of / Index of / Outline of / Glossary of 开头的列表页、独立年份与年代页、以及以表格为主的唱片目录页。自榜首下探 1,048 个标题,20 个在 Grokipedia 无对应页、28 个被排除,最终 N=1,000 对。匹配为精确标题匹配,不做模糊匹配;维基侧须为条目(非重定向、非消歧义),Grokipedia 侧须正常加载且非“不存在”占位页。另设稳健性语料:维基百科 Vital Articles Level 3 中的 200 对(附录 H)。
- 分析单位:引文实例(citation instance),即一个脚注中引用的一份来源。维基百科的多源脚注按来源拆分,纯解释性注释不计;Grokipedia 每条脚注计一条。合计 NWiki=336,686、NGrok=257,486,共 594,172 条。
- 编码方案:八类互斥(下表)。方案并非借用现成分类,而由 ChatGPT-5、Claude Sonnet 4.5、Gemini 2.5 Pro、Grok 4 各自提出候选类目,作者比对后保留八类并撰写编码手册。分类依据是引文的完整书目信息与上下文,而非仅凭 URL。
| 类别 | 界定 | 典型来源 |
|---|---|---|
| 学术与学刊 | 经同行评议的原创研究与学术传播 | 期刊论文、会议论文、学术专著 |
| 政府与官方 | 政府机构生产的信息、数据、服务与法律文件 | 人口普查、立法、法院记录 |
| 新闻与新闻业 | 依专业新闻标准对时事所作的原创事实报道 | 报纸与通讯社、广播电视新闻 |
| NGO 与智库 | 非营利与公民社会组织的使命驱动研究、政策报告 | 政策简报、NGO 报告 |
| 企业与商业 | 营利机构关于自身业务的出版物 | 新闻稿、年报、白皮书 |
| 评论与倡导 | 旨在推动特定意识形态立场的说服性评论 | 社论、时评、倡导型新闻 |
| 工具书与三次文献 | 组织与索引通识知识的作品,受“透视原则”约束 | 百科、词典 |
| 用户生成内容 | 私人个体以非机构身份发布的非正式内容 | 推文、论坛留言、个人博客 |
- 消歧规则(Box 1):规则一“具体作品优先”,作品类型压过宿主域名;规则二“透视原则”,引文指向具体作品但链接到托管或目录页时,按被指作品归类。适用结果:指向六大新闻站评论版块的 584 条引文中,517 条(89%)编为“评论与倡导”;约 10% 的维基引文经 Google Books 或 Internet Archive 链接,按书本身归类,多为学术。
- 信度:主分类器 Gemini Flash 3.6 标注全库;次分类器 Claude Opus 5 在按类各 50 条分层的 400 条样本上复标,一致率 81.8%,Cohen κ=0.79。两名人类编码员复核其中 200 条:分层 A(模型一致,n=150)人际一致率 90%,κ=0.89,95% CI [0.82, 0.93],主分类器与人类共识吻合 134/135(99.3%);分层 B(模型分歧,n=50)人际一致率仅 30%,κ=0.23 [0.10, 0.36],主分类器吻合 3/15(20%)。分领域 F1 介于 0.88–0.97(附录 D)。分层 B 的低一致性意味着全库不存在可界定的准确率点估计,作者据此对“评论 vs 新闻”的边界持保留。
- 主题分类:Wikimedia 语言无关主题分类器(64 主题、4 域),以维基条目得分最高的标签归域:文化 517(51.7%)、地理 296(29.6%)、历史与社会 114(11.4%)、理工 73(7.3%),每条均获标签。
- 模型与检验:引文数对词数的 OLS 线性与二次式,
cites = β₀ + β₁·(words/1000) + β₂·(words/1000)²,二次项在 α=0.05 下显著才保留;对数—对数弹性log(cites) = a + b·log(words)。分布差异用 Jensen–Shannon 距离(自然对数,取平方根)与余弦相似度;域间差异用 Kruskal–Wallis H 与 η²H;条目级配对用 Cohen's dz 与 Wilcoxon 符号秩检验(正态性经 Shapiro–Wilk 否决);网络分析用共现骨架与余弦阈值图,主题同配性以 1,000 次标签置换检验。
R. Results(结果)
- RQ1 引文密度与规模:维基平均 10,200.8 词(SD 3,837.0)、336.7 条引文(167.3)、密度 34.0/千词(16.0);Grokipedia 11,785.4 词(4,300.1)、257.5 条(112.1)、密度 21.8/千词(5.5)。Grokipedia 二次项不显著(p=0.070),保留线性模型,斜率 21.23/千词(SE 0.84,p<0.001),调整 R²=0.66;维基二次项显著(p<0.001),调整 R² 由 0.37 升至 0.40,长文引文增速放缓。对数—对数弹性:Grokipedia 1.02 [0.97, 1.08](近似等比),维基 0.89 [0.82, 0.96](次比例)。
- RQ2 机构构成:见下表。维基的新闻与学术合计 70.1%;学术份额为 Grokipedia 的 2.68 倍,新闻高 12.58 个百分点。Grokipedia 在 NGO 与智库(2.74 倍)和用户生成内容(4.88 倍)上相对差距最大,其余四类为维基的 1.38–1.92 倍。
| 来源类别 | 维基百科 % | Grokipedia % | 差值(pp) | 倍数(G/W) |
|---|---|---|---|---|
| 学术与学刊 | 26.66 | 9.93 | −16.73 | 0.37 |
| 新闻与新闻业 | 43.49 | 30.91 | −12.58 | 0.71 |
| 政府与官方 | 8.15 | 12.43 | +4.28 | 1.53 |
| NGO 与智库 | 4.31 | 11.81 | +7.50 | 2.74 |
| 企业与商业 | 7.10 | 12.22 | +5.12 | 1.72 |
| 评论与倡导 | 1.96 | 2.71 | +0.75 | 1.38 |
| 工具书与三次文献 | 6.97 | 13.39 | +6.42 | 1.92 |
| 用户生成内容 | 1.35 | 6.59 | +5.24 | 4.88 |
- RQ3 主题依赖:四域内 Grokipedia 的学术份额均更低。文化 14% vs 不到 5%、地理 29% vs 12%、历史与社会 36% vs 14%、理工 35% vs 25%;同时历史与社会中 Grokipedia 的政府来源为 17% 对 9%、NGO 为 14%,地理中 NGO 为 16% 对 6%,文化中工具书 17% 对 9%、用户生成内容 10%,理工中企业来源 19% 对 11%。JS 距离的域间差异显著但效应很小:H=21.71,p<0.001,η²H=0.019,中位数为历史与社会 0.313 > 文化 0.276 > 地理 0.251 = 理工 0.251。条目级配对熵差全部为大效应:历史与社会 dz=1.25 [1.10, 1.44]、文化 1.16 [1.06, 1.27]、地理 1.00 [0.92, 1.09]、理工 0.88 [0.68, 1.13];Wilcoxon p<0.001,matched-pairs rank-biserial r=0.94,总体均值差 +0.535 bit,Grokipedia 更高的配对占 90.7%。
- 条目级相似度:余弦中位数 0.89,47% 的配对超过 0.90,说明大量条目结构相近;JS 距离分布右偏,少数配对高度分化(最不相似为 Warriors 0.68、美国独立战争 0.68、The Holocaust 0.68;最相似为 Switzerland 0.07、热带气旋 0.07)。
- 网络结构:共现骨架(阈值取平台均值,维基 782.8、Grokipedia 854.2)中,维基的学术类与新闻、工具书、NGO 相连,最强边为新闻—工具书;Grokipedia 的学术类低于均值阈值、不在核心网络内,该结果在均值、中位数、60 与 75 分位四种阈值下稳健;用户生成内容则参与 Grokipedia 最强的若干条边(与企业、新闻)。余弦阈值 0.75 的文章相似网络中,Grokipedia 密度更低(0.39 vs 0.46)、传递性更低(0.81 vs 0.87)、模块度略高(Q=0.310 vs 0.291),主题同配性近乎翻倍(r=0.297 vs 0.153),在 0.60–0.95 各阈值下为维基的 1.7–2.4 倍(置换 p<0.001)。未设阈值的相似矩阵中,同域内相似度减跨域相似度在 Grokipedia 为 0.176、维基为 0.126(各 1,000 次置换,p<0.001)。
- 纵向变化:69 条在两个时点(2025 年 11 月与 2026 年 9 月)均出现的条目,引文中位数 306→290(条目级中位变化 +2.0%,p=0.038),词数 +0.7%(p=0.959)、密度 +0.1%(p=0.576)均不显著;来源画像 JS 距离中位 0.101 [0.063, 0.159],合并层面新闻 −3.6 pp、工具书 +2.5 pp、评论 +0.9、企业 +0.6、学术 +0.5(9.9%→10.4%)。2026 年 9 月语料中 29 个条目共引用 grokipedia.com 269 次(如 Iran、Israel),而 2025 年 11 月的 69 条面板中为零。
- 稳健性:Vital Articles 语料(200 对)中八类差异方向完全一致:学术 61.8% vs 35.8%、新闻 11.4% vs 8.9%、NGO 4.0% vs 11.7%、用户生成内容 0.8% vs 3.9%;密度 24.0(12.9)vs 20.5(5.2)。
a / D. Discussion & Conclusion(讨论与结论)
- 理论意义:本文把“权威”从文本层移到引文层。RQ1 显示 Grokipedia 的引文随长度近似等比增长(弹性 1.02),与“按单位文本固定配额的机械生成”相容,而维基的次比例增长与更大的离散度更符合异质的编辑实践;但作者明确表示,观察设计无法区分是编辑规则、自动生成流程还是其他因素。RQ2、RQ3 的构成差异与更高的来源类别熵(Grokipedia 更“平摊”、维基更集中于学术与新闻)共同构成“认识论替代”的经验内核。
- 概念边界:八类不构成可靠性层级,学术出处也不保证正确。作者能证明的只是“作保机构的构成不同”,而非“真值不同”;也不主张读者会据此改变信任、学习或说服效果。
- 机制不可识别:Grokipedia 的检索流程、生成指令与来源筛选机制未公开,差异可能来自模型行为、检索配置、编辑指令或其组合。两平台亦非独立系统:Grokipedia 以维基内容为底并设 Grok 复核的人工改稿入口,且已有证据显示 Grokipedia 上线反过来影响了维基的编辑活动。
- 实践启示:来源层审计可作为准确率评估、引文可靠性评估与政治偏向评估之外的第四类评估,适用于搜索引擎、推荐系统与检索增强生成管线;外部审计可在计算过程不可见时仍揭示输出的系统性模式。
- 局限(六条):一是样本为高频修改的英文热门条目,不代表任一百科整体,Vital Articles 复现仅证明方向一致而非幅度;二是平台仍在演化,纵向仅 69 条;三是分类部分依赖 LLM 标注,分层 B 人际 κ 仅 0.23,无全库准确率点估计;四是只查引文结构,未核验引文真实性与论断级支持,已有研究报告 LLM 生成文本存在伪造引文;五是维基百科并非中立标尺,其编辑参与存在性别、地理与语言失衡,可验证性要求本身也偏向已有出版物;六是观察设计不能识别因果机制,也不宜解读为公众信任的变化。
- 数据与声明:数据与代码将于发表时公开(Zenodo 10.5281/zenodo.23425913;GitHub faezehkhazaee97/epistemic-substitution)。作者声明无利益冲突,未列出资助来源;生成式 AI 在研究中的三种角色(研究对象、编码方案提案、全库标注)已在方法节披露。
🧠 IRMaD 思维导图
mindmap
root((认识论替代与权威重构))
I 引言
维基二十年人工模式
机器百科自动生成
权威写在引文里
R 研究问题
RQ1 引文密度与规模
RQ2 机构构成差异
RQ3 主题依赖程度
八类互斥来源
M 方法
精确标题匹配一千对
引文合计五十九万余
四模型提案定八类
两条消歧规则
模型间 kappa 零点七九
人类复核两百条
R 结果
学术份额二点七倍差
新闻差十二个百分点
网友发言近五倍
每千词多二十一条
主题仅解释百分之二
学术掉出核心网络
a 讨论
认识论替代非质量评判
像按配额配引文
平台仍在演化
D 结论
认识论画像可审计
可推广到检索系统
生成知识需要问责
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。