arXiv 预印本 · 2026 · 特伦托大学 / FBK / ITU 哥本哈根 · 代码数据开源

用调查自报的党派接触验证大语言模型生成的政治网络

Marco Tonin, Michele Tizzoni, Bruno Lepri 等 4 人 · arXiv (preprint) · 2026 · arXiv: 2610.23199
原题:Validating LLM-generated political networks with survey-reported partisan exposure
Open Access 新颖度 0.72

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

你有没有想过,如果让一个 AI 扮演一个普通的美国选民,它会跟谁交朋友?近两年,越来越多的社会科学研究就这么干:把一个人的年龄、性别、学历、宗教信仰、上次投给谁写成一张“人物卡”(persona),交给大语言模型,让它代替这个人回答问题、做决定,甚至挑选朋友。把每个人挑出来的朋友拼在一起,就成了一张社交网络。问题是,这张网看着像不像真的?过去大家主要看整体指标:平均每人几个朋友、朋友之间是不是也互相认识、网络会不会分成几个小圈子。这些指标漂亮,只能说明这张网“长得像”真实网络,却不能说明它给每个虚拟人配的朋友圈,跟真人身边的政治环境一致。真人身边有多少民主党、多少共和党朋友,会实实在在影响他怎么投票、信什么新闻、跟谁吵架。美国全国选举研究(ANES)2020–2022 社交媒体调查恰好问过受访者这个问题,于是作者拿它当尺子,去量 AI 生成的朋友圈。

② 研究问题(要回答什么?)

作者想弄清三件事,像三层台阶。第一层,AI 生成的网络在结构上像不像真的?用平均好友数、抱团程度、最大连通块比例、平均最短路、模块度这五个指标,去对照真实友谊网络的范围。第二层,也是全文的重点:对每一个虚拟人,它身边民主党朋友和共和党朋友的比例,能不能对上本人在问卷里勾的那个 1 到 5 分?第三层,网络的“政治同质性”(同党更容易互相选择,术语叫 assortativity)如果一样,是不是就意味着每个人身边的政治环境也一样?同时作者还想看,出错是不是集中在某些人群身上,比如某个族裔、某种学历、某个年龄段。

③ 研究方法(怎么做的?)

做法可以想象成一场大型“相亲会”。作者先从 ANES 调查里按分层抽样挑出 100 位受访者,把每个人的七项特征写成人物卡:年龄、性别、族裔、学历、居住州、宗教、2020 年总统投票。然后请五个模型——Llama-3.1 8B、Llama-3.1 70B、Qwen2.5 7B、Qwen2.5 72B、Mistral 7B——轮流当“红娘”。红娘有两种工作方式:一种是一对一问,“这个人会跟那个人做朋友吗”,回答是或否;另一种是一次给一份名单,名单里有 5、10、25 或 50 个候选人,让它挑出愿意交朋友的编号。作者还故意换了人物卡里“投票”这一项的摆放位置,放最前或最后;温度也设了两档,0.1 和 0.7;每种组合重复十次。五模型 × 五种问法 × 两档温度 × 两种排序 × 十次,一共一千次,生成一千张百人网络。每张网还能拆成两种:一种是“我提名了谁”,哪怕对方不认;另一种是“互相都点名”才算数的双向好友网。判断结构像不像真的,用的是 13 个真实数据集里的 57 张友谊网(从高中班级、律所到监狱),取它们指标的中间 95% 当及格线。判断政治环境像不像,则把每人身边同党好友的比例切成五档,跟问卷的 1 到 5 分逐人对表,算平均偏差。

④ 结果(发现了什么?)

先说结构。一千张双向网里,只有 332 张(33.2%) 五项指标全部落在真实网络的范围内。差别主要来自“一次给几个候选人”:一对一问答时只有 2% 及格,一次给 5 个人时干脆 0%,给 10 个人升到 20%,给 25 个人 64%,给 50 个人 80%。模型之间也差很多:Qwen2.5 7B 有 61% 及格,Llama-3.1 8B 是 40.5%,Llama-3.1 70B 是 40%,Qwen2.5 72B 是 24.5%,Mistral 7B 一张都没有。政治同质性则普遍偏高,最夸张的组合接近 0.94,意思是同党之间几乎只跟同党来往。

再看最关键的“逐人对表”。结果分成两派。Llama 两个版本和 Qwen2.5 72B 把两党分得比调查里更开:同党接触高估、跨党接触低估,最大偏差超过 1 分(在 1 到 5 分的量表上)。Mistral 7B 和 Qwen2.5 7B 是另一类毛病:普遍低估共和党朋友的数量,连共和党人自己也低估。有趣的是,一对一问答虽然结构最不像真的,它给出的政治环境反而常常更接近调查。此外,两张网络的政治同质性只差 0.02 以内,同一个虚拟人身边的政治环境仍可能差出将近 1 分,而且在结构完全及格的网络里也一样。

最后是人群差异。西班牙裔、45 到 59 岁、本科以上学历的人,民主党朋友被系统性低估;学历低于高中、无神论者则被高估。75 岁以上老人、新教徒、中西部居民的共和党朋友被低估得最厉害,偏差可达 -1.3 分。

⑤ 讨论(这些发现说明什么?)

为什么会出现这种“整体像、局部不像”?作者的解释是,网络层面的政治同质性只是一个平均数。它告诉你“同党之间更容易连边”,却不告诉你这些边是民主党人挑民主党人,还是共和党人被漏掉。两个平均数相同的网络,可以一个把两边都拉近,另一个把一边抬高、一边压低,个体的感受完全不同。这就像两个班平均分都是 80 分,一个班人人 80,另一个班一半 100 一半 60。更麻烦的是,模型越大不代表越准:70B 的 Llama 反而把两党分得最开。作者还提醒,模型“更会挑朋友”这件事,很大程度上取决于你怎么问——是逐个问还是给名单、名单多长、投票信息放前面还是后面,都会改变网络长相。所以“模型能不能生成真实网络”不该被当成模型的固有属性。人群层面的偏差则说明,模型心里的“典型民主党人”“典型老人”带着刻板印象,这些印象落到每一次交友决定上,累积成了系统性的高估和低估。

⑥ 结论(最终结论 + 启示)

一句话总结:网络整体指标合格,不等于模拟出的社会是对的。作者的建议是,用大模型做社会模拟时,别只拿密度、模块度、同质性这些“体检总表”,还要拿真实调查做“逐人体检”,看每个虚拟人所处的环境对不对,尤其要看不同人群是否被系统性扭曲。对传播学和政治学来说,这意味着用 AI 网络去研究极化、说服、信息扩散之前,先得确认这张网给每个人配的邻居是不是可信;否则后面算出来的效应,可能只是模拟器自己的偏见在打转。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

大语言模型已被用来扮演受访者、生成问卷回答与个体决策(Argyle 等 2023;Bail 2024)。网络生成是较新一支:Chang 等(2025)发现 LLM 能生成结构接近真实的友谊网,却高估政治同质性。问题在评估分辨率——既有工作只比对密度、聚类、模块度与 assortativity,而结构合理的网络仍可在个体层面失真:ego 身边的党派构成决定其信息暴露与极化轨迹(Huckfeldt & Sprague 1995),这恰是聚合指标看不见的。

本文以 ANES 2020–2022 社交媒体研究的自报党派接触为基准,对同一批 persona 的 ego 网络逐人对表。贡献有三:在 1,000 次生成上刻画结构与 assortativity 变异,以 57 张真实友谊网定合格线;实施 ego 级暴露的 MSD 检验;证明 assortativity 相同的网络仍可给出不同的个体政治环境,即 macro–micro 错配在单步连边中同样成立。

I. Theoretical Framework & Hypotheses(理论框架与假设)

两条理论线索交汇:同质性/同配混合——友谊更可能发生在相似者之间(McPherson 等 2001),政治是最强维度之一;政治环境的社会化效应——身边党派构成影响投票、参与与态度(Huckfeldt & Sprague 1995;Campbell 2013),故 ego 级暴露本身是需被复现的实质变量。据此把效度拆为结构效度、个体暴露效度、聚合—个体一致性三层。

编号研究问题理论依据
RQ1生成网能否落入真实友谊网五项指标范围结构现实主义;同质性
RQ2ego 级暴露能否复现 ANES 自报政治环境社会化
RQ3同配相近的网络是否生成相近的 ego 暴露macro–micro 错配
RQ4误差是否集中于特定群体persona 扁平化与刻板印象

作者不设方向性假设,而把 assortativity 当作聚合代理变量,检验它能否替代个体级验证。

M. Materials & Methods(材料与方法)

R. Results(结果)

模型(c25, T=0.1, vote last)民主党 ego:Dem/Rep共和党 ego:Dem/Rep模式
Llama-3.1 70B+1.486 / -1.116-1.441 / +1.735隔离放大
Llama-3.1 8B+1.488 / -1.116-1.012 / +1.018隔离放大
Qwen2.5 72B+0.974 / -1.019-0.826 / +0.318同向更温和
Mistral 7B-0.216 / -0.384+0.138 / -0.879低估共和党

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((AI政治网络可信吗))
    I 引言
      大模型扮演选民
      人物卡生成朋友圈
      只看整体指标不够
      个体政治环境被忽略
      ANES 提供经验尺子
    R 问题
      结构是否像真实网络
      个体暴露能否对上调查
      同质性相同环境是否相同
      哪些人群错得最多
    M 方法
      ANES 百人分层样本
      五个开源指令模型
      温度零点一与零点七
      一对一与名单五到五十
      五十七张真实友谊网
      平均偏差对照五分表
    R 结果
      三成三网络结构合格
      同质性最高零点九四
      Llama 高估同党一分
      小模型低估共和党
      同质性近环境仍差一分
      老人新教徒低估最重
    a 讨论
      整体像不等于局部像
      同质性是平均数
      模型更大未必更准
      问法改变网络长相
      刻板印象累积成偏差
    D 结论
      聚合指标会掩盖错误
      须做逐人体检
      调查可当经验基准
      模拟前先验网络
      极化研究慎用

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。