arXiv 预印本(cs.CY 交叉计算与社会,交叉挂 cs.AI、cs.SI)· 2026-11-05 提交 · 未注明会议或期刊录用 · 两项研究主实验合计 5.76 万个观测(1.92 万条回答 + 3.84 万次排序),另加 9,600 次真产品排序 · 代码、提示词与聚合数据公开

越有名越受欢迎:生成式搜索中的品牌偏差审计

Giorgio Monaco, Jacopo Lenti, Francesco Pierri · arXiv preprint (cs.CY) · 2026 · arXiv: 2611.07614
原题:The Popular Get More Popular: Auditing Brand Bias in Generative Search
Open Access 新颖度 0.78

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

很多人现在不翻网页了,直接问聊天机器人“我该买哪个”。机器人会把几十个选项压成三五句推荐,还说得头头是道,用户很容易把它当成中立建议。可模型是从海量网页里学出来的,网上谁声音大,它就可能更偏向谁。过去大家担心的是性别、种族这类偏见,很少有人系统检查品牌层面的偏见。这篇论文把“品牌偏见”拆成两种:一种偏爱市场上本来就大的牌子,另一种偏爱模型训练时见过的名字。研究者担心,如果生成式搜索把流量都导向头部品牌,小商家和新品牌就可能被挤出市场,这已经不只是技术问题,而是竞争政策和消费者保护问题。

② 研究问题(要回答什么?)

研究要回答两个问题。第一,在真实上线的生成式搜索引擎里,品牌越有名,被提到的次数和被引用为信息来源的次数是不是也越多。第二,如果两页产品介绍的内容一模一样,只把页面上的品牌名换掉,排名会不会变;再进一步,用常见的搜索引擎优化手法改写文案,能不能把排名拉回来。作者把第一条叫品牌人气偏差,第二条叫品牌熟悉度偏差。前者看的是市场结构,后者看的是新品牌进入的门槛。他们还关心两件附带的事:开启联网检索能不能纠正这种偏爱,以及给用户加上预算有限这类身份设定后,推荐会不会更公平。

③ 研究方法(怎么做的?)

研究分两步。第一步是观察审计。团队从关键词工具里挑了意大利四个消费领域的问题,整理出八十个提示词,每个问题再配上三种买家身份,分别在联网和不联网两种模式下,向三个商用生成式搜索接口各问十次,一共得到一万九千二百条回答。他们用另一个模型从回答里抽品牌名,再人工合并同一品牌的不同写法,最后保留一千一百七十六个品牌,其中一千一百五十九个能查到搜索热度。品牌热度用谷歌月搜索量的对数衡量。第二步是控制实验。研究者取二十四个问题,每个问题准备五页产品介绍,固定其中四页,只改目标页上的署名和文字。署名有五种:真品牌配真产品、真品牌配假产品、更有名品牌、更没名品牌、完全虚构品牌。文字有原文和三种不改变事实的改写。四个模型在不知道来源的情况下给五页排序,共收集三万八千四百次排名。

④ 结果(发现了什么?)

观察审计发现,品牌越有名,越容易被生成式搜索提到。二十四种引擎与领域组合里有二十三种显著,相关系数最高到零点四七。把品牌按热度分成五档后,最热那一档被提及和被引用的次数,是同一引擎同一领域平均品牌的一点四到二点八倍。更关键的是,联网搜索并没有削弱这种偏爱:搜索量每增加十倍,不联网时提及率多零点八七个百分点,联网时多零点八九个百分点,两者只差零点零二,置信区间跨过零。团队还发现,热门品牌的名字常常在模型发出第一次搜索请求时就已经写进查询词,旅游领域从最低档的百分之七升到最高档的百分之四十五。在控制实验里,同一页内容署真品牌时平均排三点二一名,署虚构品牌时排三点六五名,真品牌净赚零点四四个位次。只换产品名会损失零点一四个位次;换成另一个真实但更没名的品牌,仍比虚构品牌高零点一九个位次。三种不改变事实的文案改写平均只带来零点零二个位次的提升,置信区间几乎贴零。

⑤ 讨论(这些发现说明什么?)

作者认为,这不是简单的“大品牌质量更好”。因为实验里五页产品的参数、价格、卖点完全一样,唯一变化就是署名,排名却系统性地偏向真实存在的名字。模型训练时见过某个品牌,就会给这个名字更高的默认分;而一个训练结束之后才出现的新品牌,哪怕资料齐全,也会被当成陌生词处理。这很像推荐系统里的冷启动问题,但传统系统还能靠产品特征补救,生成式搜索连这一步都不给。另一个值得注意的发现是,用户身份设定能稍微削弱人气偏差,因为身份把笼统的“最好的”变成了有预算约束的具体问题,搜索词里会多出价格词。作者也提醒,不改变事实的文案优化几乎无效,说明靠写手包装页面的空间比营销行业宣传的小得多;但这不等于造假文案也没用,那部分被作者刻意排除在实验之外。

⑥ 结论(最终结论 + 启示)

这篇论文给出的政策含义很直接。监管者如果只检查答案引用了哪些网站,会漏掉真正分配注意力的地方,因为品牌可以在正文里被提到却不出现在来源列表中,实验中三成多的提及只出现在第三方页面。审计应当同时统计正文提及和来源引用,并把“同等内容是否得到同等排名”作为一条可操作的公平标准。对平台来说,这套换名实验成本不高,完全可以在上线前作为常规检查。对新品牌和小商家来说,指望靠页面改写挤进推荐位并不现实,更实际的做法是让自己出现在模型会学习、会检索的公开资料里。作者也承认,研究只覆盖意大利市场的一个时间点,实验部分关闭了联网,结论能否推广到其他语言和场景还需要后续验证。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

生成式搜索把传统的结果列表改写为带理由的综合推荐,用户对这类答案赋予较高可信度,推荐结果因此直接形塑消费者选择与商家的市场曝光。既有算法审计研究一脉继承传统搜索引擎审计与推荐系统公平性文献,关注曝光分配、来源可靠性与多边公平;另一脉聚焦大模型的社会人口学偏见、提示词效应与生成引擎优化(GEO)。品牌层面的经济性偏见仍缺少系统测量。本文将其拆为两条可分离机制:品牌人气偏差,即模型系统性偏爱市场份额高、网络声量大的品牌,可能形成默顿意义上的马太效应;品牌熟悉度偏差,即在产品内容完全相同的条件下,已进入模型参数记忆的品牌相对陌生品牌获得的排名优势,相当于一道参数化进入壁垒。作者据此提出一个极简的公平判据——同等内容应得到同等排名——并设计两项研究:一项审计已上线引擎的曝光分配,另一项用换名与改写实验隔离品牌身份与文本质量。其公共管理意义在于,生成式搜索正在承担过去由搜索引擎与货架陈列承担的注意力分配功能,而竞争政策、消费者保护与平台问责工具尚未覆盖“答案正文中的提及”这一层。

I. Theoretical Framework & Hypotheses(理论框架与假设)

本文横跨三支文献。算法审计与搜索政治一支,从 Introna 与 Nissenbaum 对排序权力的规范分析,到 Sandvig 等与 Metaxa 等的“由外而内”审计范式,关注排序系统如何在缺乏透明度时分配可见性。推荐系统公平一支,Burke 的多边框架区分消费者与生产者公平,Biega 等与 Singh 和 Joachims 将曝光公平形式化,流行度偏差研究指出头部项目因曝光与反馈循环持续获益(Mansoury 等;Klimashevskaia 等)。大模型与生成式检索一支,模型从语料继承统计分布,RAG 引用不保证归因可靠(Liu 等),检索查询也可能被模型先验污染(Chen 与 Koudas)。本文还把姓名操纵审计(Bertrand 与 Mullainathan)迁移到品牌实体,以 Schein 等的冷启动类比新品牌的参数化壁垒,并据此提出以下假设。

假设族内容关键检验结果
H1 人气偏差越热门越常被提及与引用24 组提及、12 对引用23/24 与 8/12 显著
H1c 检索纠偏不联网时偏差更强离线减在线斜率+0.02,不支持
H2 查询与来源查询塑造来源与品牌回答相似度斜率H2a 支持,H2b 不支持
H3 人格人格不改变人气偏差与 0.98 斜率对照A、B 下不支持
H4 熟悉度偏差真品牌与真产品名占优位次差H4a +0.44、H4b +0.14、H4e +0.19
H4c/H4d 对照更有名他牌与不匹配代价位次差+0.05、+0.08 均不显著
H5 GEO 改写改写提升排名位次差+0.02 不支持;H5b +0.42 支持

M. Materials & Methods(材料与方法)

R. Results(结果)

研究一:提及率对热度的斜率离线 +0.87、在线 +0.89(百分点/十倍搜索量),差 +0.02(95% CI [−0.03, 0.07]),H1c 不成立;24 个引擎与领域组合中 23 个 Spearman 显著(ρ 最高 0.47),唯一例外为 Perplexity 旅行离线(ρ=0.08);引用相关 12 对中 8 对显著。最高五分位的提及与引用率是引擎与领域均值的 1.4–2.8 倍。联网未抹平偏差:GPT 首次搜索已含品牌名的比例,旅行从 7% 升至 45%(+0.38 [0.19, 0.63]),保险从 1% 升至 8%(+0.07 [0.02, 0.15]);30,006 条提及中 95.5%、60.9%、97.3% 可在来源中找到品牌名,36.2% 仅见于第三方页面。人格把斜率从 0.98 降到 0.80(A,−0.18 [−0.29, −0.07])与 0.85(B,−0.13 [−0.24, −0.03]),C 为 0.89(不显著)。研究二见下表。

对比Δ 位次95% 区间Holm p
真品牌真产品 vs 虚构品牌(H4a)+0.44[0.23, 0.69]<.01
真品牌真产品 vs 真品牌假产品(H4b)+0.14[0.05, 0.27]<.05
更有名品牌 vs 更没名品牌(H4c)+0.05—n.s.
真品牌假产品 vs 两个真品牌均值(H4d)+0.08[−0.02, 0.20]n.s.
较没名品牌 vs 虚构品牌(H4e)+0.19[0.11, 0.30]<.01
三种改写均值 vs 原文(H5a)+0.02[−0.001, 0.049]n.s.
H4a 减 H5a(H5b)+0.42[0.22, 0.66]<.01

四模型效应均为正:DeepSeek +0.24、Gemini +0.42、GPT +0.57、Perplexity +0.56;分领域保险 +0.56、时尚 +0.68、运动 +0.26、旅行 +0.27。剔除任一问题后均值 0.39–0.49;识别率与效应无关(ρ=0.10)。改写合并 +0.022 [−0.001, 0.049]。

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((生成式搜索品牌偏差))
    引言
      生成式搜索改写消费发现
      品牌偏见少有人审计
      马太效应与进入壁垒
      公平判据同等内容同等排名
    问题
      人气偏差如何分配曝光
      换名是否改变排名
      联网能否纠正偏爱
      改写能否拉回排名
    方法
      意大利四行业八十问
      三引擎一万九千回答
      一千一百七十六个品牌
      换名与改写对照实验
      四个模型给五页排序
      自助法区间与多重校正
    结果
      热门档曝光高数倍
      联网不削弱人气偏差
      热门品牌写进首次查询
      真品牌多赚零点四四位
      虚构品牌排到最后
      事实型改写几乎无效
    讨论
      参数记忆构成进入壁垒
      新品牌遭遇冷启动
      引用透明不足
      正文提及同样关键
    结论
      强者更强循环
      审计须看正文提及
      上线前可做换名测试
      竞争政策与消费者保护

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。