arXiv 2026 · UC Davis 传播系 · 约六十万条引文的算法审计

认识论替代:AI 生成百科如何重构权威

Aliakbar Mehdizadeh, Faezeh Khazaee, Martin Hilbert · arXiv preprint · 2026 · arXiv: 2512.03337
原题:Epistemic Substitution: How Grokipedia's AI-Generated Encyclopedia Restructures Authority
Open Access 新颖度 0.78

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

过去二十多年,人们查一个陌生名词,第一反应往往是打开维基百科。它没有主编,靠成千上万的志愿者一条条写、一条条改,最后竟然成了全世界最大的百科全书。这套办法之所以能让人信服,是因为它有一条硬规矩:任何一句话,都得在下面注明是从哪儿看来的。换句话说,维基百科的权威不是自己封的,而是它引用的那些书、论文、报纸和政府文件替它撑起来的。

现在情况变了。有人用大模型直接生成了一部百科,名字叫 Grokipedia,词条和维基百科一一对应,但正文和引文都是机器写的。这就带来一个很实际的问题:如果连“该信谁”这件事也交给机器决定,它会不会挑一批完全不同的机构来给自己作证?要知道,引一篇同行评议的论文和引一条网友留言,在页面上都只是一行小字,背后的分量却完全不同。这篇论文想做的,就是把这两部百科的“引文账本”摊开来,一条一条地对。

② 研究问题(要回答什么?)

这项研究要弄清楚的核心问题是,人类编的百科和机器编的百科,请来的“权威”是不是同一批人。作者把它拆成三个可以量的子问题。

第一,两边在“引多少”上有没有差别。也就是同样长度的文章,各自标注了多少出处;文章越长,出处是跟着涨,还是另有规律。

第二,两边在“引谁”上有没有差别。作者把引文按来源分成八类,比如学术论文、政府文件、新闻、智库报告、企业材料、评论文章、工具书、网友发言,然后比两边的比例。

第三,这种差别会不会因为话题不同而变样。写历史和写物理,能引的东西本来就不一样,所以还得按文化、地理、历史与社会、理工四个大类分开看。

作者还给这个整体现象起了个名字,叫“认识论替代”。意思不是说某一条引文被换掉了,而是说,为同一个知识点作担保的那批机构,整体换了一批人。

③ 研究方法(怎么做的?)

研究团队的做法,有点像给两家超市做进货盘点。他们先定下要比哪些货架,再把两家的同类货架一一对上,最后一件一件登记货源。

选货架的办法是看“被修改次数”。他们从维基百科的“修改次数最多”榜单上往下捋,取了排在最前面的条目,这些大多是明星、国家、历史事件,属于被反复打磨过的热门话题。接着按标题一模一样地去 Grokipedia 找对应页面,找不到的、或者只是列表和年表的,都剔掉。一共查了一千零四十八条,二十条在对面没有页面,二十八条不合要求,最后剩下一千对。

登记货源是最费劲的一步。维基百科一个脚注里可能塞了好几本书,就得拆成好几条;Grokipedia 一个脚注只放一条,直接记一条。两边加起来一共将近六十万条引文。

然后给每条引文贴标签。标签一共八类,不是现成借来的,而是先让四个大模型各自提一套方案,再由作者合并定稿。定稿时还写了两条消歧规则。一条说“看具体作品,不看挂在哪个网站”,比如《纽约时报》上的一篇社论要算评论,不能算新闻;另一条说“看书本身,不看链接指向的目录页”,比如一本学术专著挂在谷歌图书上,仍然算学术。

为了确认贴标签靠不靠谱,他们让两个模型在四百条样本上各贴一遍,再请两位真人编码员复核其中两百条。结果有好有坏,后面会讲。

④ 结果(发现了什么?)

结果的方向非常一致,机器编的百科确实请了一批不一样的“担保人”。

先看引多少。同样一千个词,维基百科平均标出三十四个出处,Grokipedia 只有约二十二个。而且 Grokipedia 的文章普遍更长、出处反而更少,显得“话多凭证少”。更有意思的是规律性:Grokipedia 每多写一千个词,就稳定地多出约二十一条引文,几乎像按配额发放;维基百科则忽多忽少,长文章里引文增长还会放缓。在统计上,Grokipedia 的拟合优度也明显更高。

再看引谁。把近六十万条引文汇总起来,维基百科有超过四成是新闻,约两成七是学术论文,两项加起来超过七成。Grokipedia 的新闻只占三成出头,学术论文不到一成。反过来,它引网友发言的比例是维基百科的近五倍,引智库和非政府组织报告是近三倍,引企业材料、工具书、政府文件和评论也都更多。

分话题看,这个方向没有变。四个大类里,Grokipedia 的学术引用比例都更低。差距最大的是历史与社会类,维基百科三成六对 Grokipedia 一成四;差距最小的是理工类,三成五对两成五;文化类最悬殊,维基百科一成四,Grokipedia 不到半成。

最后看整体像不像。一千对文章里,近一半的引文结构相似度超过九成,说明不少条目其实长得挺像;但也有少数条目天差地别,比如《大屠杀》《美国独立战争》这些历史政治题材。

⑤ 讨论(这些发现说明什么?)

作者把这种现象命名为“认识论替代”,并且反复强调一件事:这不是在排质量高低。

他们解释说,一篇论文、一份政府公报、一条网友留言,背后的把关机制完全不同。论文要过同行评议,新闻要有编辑和事实核查,政府文件有行政程序,而网友发言基本没有门槛。所以引文结构的变化,实际上反映的是“谁有资格替知识作保”这件事在变。

但作者很谨慎地划了界线。他们说,八类标签描述的是来源的“类型”,不是“可信度”。学术来源也不保证说得对,网友发言也不一定就是错的。他们能证明的只是:同一个话题,两部百科请来的机构构成不一样。

还有一个耐人寻味的发现。作者把每篇文章的引文画成网络,看哪些来源经常一起出现。维基百科里,学术论文和新闻、工具书、智库报告连成一片,处在网络的中心。Grokipedia 里,学术论文竟然落到平均线以下,干脆不在核心网络里;反倒是网友发言和企业材料、新闻连得很紧。作者说这有点像机器在按固定比例配货:不管写什么话题,都往里掺一点各类来源。

他们也承认,为什么会这样现在说不清。Grokipedia 的检索和生成规则没有公开,可能是模型习惯,可能是检索设置,也可能是人工指令。

⑥ 结论(最终结论 + 启示)

这项研究最后落在一个很朴素的主张上:对机器生成的知识,得能查账。

作者提出的“认识论画像”其实是一套可复制的审计办法。不管一个系统内部怎么运转,只要它把引文摆在外面,就能一条条分类、比较、追踪。这套办法不只适用于百科,也能搬到搜索引擎、推荐系统和检索增强的问答系统上。

他们还做了一次时间上的对照。六十九个条目在十个月里被看了两遍,引文密度几乎没动,但来源构成变了:新闻降了三个多百分点,工具书涨了两个多百分点。另外,在更大的样本里,有二十九个条目引用了 Grokipedia 自己,一共两百六十九条。作者说,这说明一部百科的“认识论画像”不是一成不变的。

当然,作者自己列了五条限制:样本是高频修改的热门条目,代表不了整部百科;平台还在变;分类靠模型,模型之间也有分歧;只看引文结构,没查引文对不对;维基百科本身也不是中立标尺。所以他们的结论是方向性的,不是终审判决。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

百科全书是观察知识权威结构的最佳切片。自 2001 年以来,维基百科以去中心化的协作模式证明,认识论权威不必依赖具名专家的集中审稿,而可由开放编辑与共识机制生成,其可验证性政策要求每条论断附上可查证的出处,使引文成为“权威被外包给哪些机构”的可观测痕迹。这一线索可回溯到信息科学对知识如何被组织、合法化与验证的传统关切。

生成式 AI 改写了这一格局。Grokipedia 由大模型自动生成条目并自动挑选引文,使“由谁作保”这一环节第一次可以在没有人类编辑直接参与的情况下完成。既有研究已从多角度比较两个平台:Mohammadi 与 Yasseri 发现约三分之一条目高度相似、其余被大幅改写,改写条目每词引文更少且在宗教、历史、文艺等话题上更多引用偏右媒体;Triedman 与 Mantzarlis 比较最常被引域名,发现 Grokipedia 更多引用维基百科“常年不可靠来源”清单上的站点;Eibl 等与 Vlahos 等分别从政治框定与政治人物传记的意识形态偏斜切入;Hadad 等分析 Grokipedia 对维基条目的选择与改写机制;Leung 与 Strumpf 则以 Grokipedia 上线作为自然实验,发现被“复制”的维基传记页面随后获得更多浏览与人工编辑。

这些研究的共同盲点在于分析单位:多数以域名或文本相似度为单位,尚未对完整引文库逐条分类。然而同一域名下可以并存新闻、社论与用户视频,同一份“可靠来源”也可能代表与学术论文完全不同的权威类型。本文的贡献因此有三。其一,提出“认识论画像”(epistemic profile)这一操作化概念,用八类互斥来源刻画引文的机构构成。其二,在 1,000 对同名条目、594,172 条引文上给出逐条分类的估计及其不确定性。其三,以“认识论替代”(epistemic substitution)概括同一话题下权威构成的系统性位移,并提供可复用的审计框架。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文不设方向性假设,而以三个研究问题组织,分别对应引文的“量”“构成”与“情境依赖”。理论落点在 Wilson 的认知权威(cognitive authority)与 Rieh 的可信度判断:引文被视为外部权威的可观测痕迹,而非真值保证。作者借 Buckland 的“信息即物”(information-as-thing)把引文当作可分类、可比较的信息人工物,从而把“权威结构”转成可测量的分布问题。所谓“认识论替代”,指的不是个别引文被替换,也不是生成过程的复原,而是同一话题下被援引的机构类型构成发生系统性位移。

编号研究问题操作化指标方法依据
RQ1两平台在外部引文使用上有何差异每千词引文数;引文数对词数的线性/二次 OLS;对数—对数弹性引文密度作为支持强度的代理
RQ2各自赋予哪些机构为论断作保的资格八类来源的合并占比与条目级均值占比Wilson 认知权威;Buckland 信息即物
RQ3权威结构是否随主题重构四域分层占比;JS 距离;Shannon 熵;余弦相似度;共现网络与主题同配性分布距离与网络同配性检验

需要强调的是,八类标签刻画的是来源类型而非来源质量,既不度量事实准确性、可靠性或政治偏向,也不度量引文是否真的支持了对应论断,因此不构成可信度的排序。

M. Materials & Methods(材料与方法)

类别界定典型来源
学术与学刊经同行评议的原创研究与学术传播期刊论文、会议论文、学术专著
政府与官方政府机构生产的信息、数据、服务与法律文件人口普查、立法、法院记录
新闻与新闻业依专业新闻标准对时事所作的原创事实报道报纸与通讯社、广播电视新闻
NGO 与智库非营利与公民社会组织的使命驱动研究、政策报告政策简报、NGO 报告
企业与商业营利机构关于自身业务的出版物新闻稿、年报、白皮书
评论与倡导旨在推动特定意识形态立场的说服性评论社论、时评、倡导型新闻
工具书与三次文献组织与索引通识知识的作品,受“透视原则”约束百科、词典
用户生成内容私人个体以非机构身份发布的非正式内容推文、论坛留言、个人博客

R. Results(结果)

来源类别维基百科 %Grokipedia %差值(pp)倍数(G/W)
学术与学刊26.669.93−16.730.37
新闻与新闻业43.4930.91−12.580.71
政府与官方8.1512.43+4.281.53
NGO 与智库4.3111.81+7.502.74
企业与商业7.1012.22+5.121.72
评论与倡导1.962.71+0.751.38
工具书与三次文献6.9713.39+6.421.92
用户生成内容1.356.59+5.244.88

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((认识论替代与权威重构))
    I 引言
      维基二十年人工模式
      机器百科自动生成
      权威写在引文里
    R 研究问题
      RQ1 引文密度与规模
      RQ2 机构构成差异
      RQ3 主题依赖程度
      八类互斥来源
    M 方法
      精确标题匹配一千对
      引文合计五十九万余
      四模型提案定八类
      两条消歧规则
      模型间 kappa 零点七九
      人类复核两百条
    R 结果
      学术份额二点七倍差
      新闻差十二个百分点
      网友发言近五倍
      每千词多二十一条
      主题仅解释百分之二
      学术掉出核心网络
    a 讨论
      认识论替代非质量评判
      像按配额配引文
      平台仍在演化
    D 结论
      认识论画像可审计
      可推广到检索系统
      生成知识需要问责

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。