🧒 初中生也能看懂的版本
① 研究背景(为什么要做?)
你有没有想过,如果让一个 AI 扮演一个普通的美国选民,它会跟谁交朋友?近两年,越来越多的社会科学研究就这么干:把一个人的年龄、性别、学历、宗教信仰、上次投给谁写成一张“人物卡”(persona),交给大语言模型,让它代替这个人回答问题、做决定,甚至挑选朋友。把每个人挑出来的朋友拼在一起,就成了一张社交网络。问题是,这张网看着像不像真的?过去大家主要看整体指标:平均每人几个朋友、朋友之间是不是也互相认识、网络会不会分成几个小圈子。这些指标漂亮,只能说明这张网“长得像”真实网络,却不能说明它给每个虚拟人配的朋友圈,跟真人身边的政治环境一致。真人身边有多少民主党、多少共和党朋友,会实实在在影响他怎么投票、信什么新闻、跟谁吵架。美国全国选举研究(ANES)2020–2022 社交媒体调查恰好问过受访者这个问题,于是作者拿它当尺子,去量 AI 生成的朋友圈。
② 研究问题(要回答什么?)
作者想弄清三件事,像三层台阶。第一层,AI 生成的网络在结构上像不像真的?用平均好友数、抱团程度、最大连通块比例、平均最短路、模块度这五个指标,去对照真实友谊网络的范围。第二层,也是全文的重点:对每一个虚拟人,它身边民主党朋友和共和党朋友的比例,能不能对上本人在问卷里勾的那个 1 到 5 分?第三层,网络的“政治同质性”(同党更容易互相选择,术语叫 assortativity)如果一样,是不是就意味着每个人身边的政治环境也一样?同时作者还想看,出错是不是集中在某些人群身上,比如某个族裔、某种学历、某个年龄段。
③ 研究方法(怎么做的?)
做法可以想象成一场大型“相亲会”。作者先从 ANES 调查里按分层抽样挑出 100 位受访者,把每个人的七项特征写成人物卡:年龄、性别、族裔、学历、居住州、宗教、2020 年总统投票。然后请五个模型——Llama-3.1 8B、Llama-3.1 70B、Qwen2.5 7B、Qwen2.5 72B、Mistral 7B——轮流当“红娘”。红娘有两种工作方式:一种是一对一问,“这个人会跟那个人做朋友吗”,回答是或否;另一种是一次给一份名单,名单里有 5、10、25 或 50 个候选人,让它挑出愿意交朋友的编号。作者还故意换了人物卡里“投票”这一项的摆放位置,放最前或最后;温度也设了两档,0.1 和 0.7;每种组合重复十次。五模型 × 五种问法 × 两档温度 × 两种排序 × 十次,一共一千次,生成一千张百人网络。每张网还能拆成两种:一种是“我提名了谁”,哪怕对方不认;另一种是“互相都点名”才算数的双向好友网。判断结构像不像真的,用的是 13 个真实数据集里的 57 张友谊网(从高中班级、律所到监狱),取它们指标的中间 95% 当及格线。判断政治环境像不像,则把每人身边同党好友的比例切成五档,跟问卷的 1 到 5 分逐人对表,算平均偏差。
④ 结果(发现了什么?)
先说结构。一千张双向网里,只有 332 张(33.2%) 五项指标全部落在真实网络的范围内。差别主要来自“一次给几个候选人”:一对一问答时只有 2% 及格,一次给 5 个人时干脆 0%,给 10 个人升到 20%,给 25 个人 64%,给 50 个人 80%。模型之间也差很多:Qwen2.5 7B 有 61% 及格,Llama-3.1 8B 是 40.5%,Llama-3.1 70B 是 40%,Qwen2.5 72B 是 24.5%,Mistral 7B 一张都没有。政治同质性则普遍偏高,最夸张的组合接近 0.94,意思是同党之间几乎只跟同党来往。
再看最关键的“逐人对表”。结果分成两派。Llama 两个版本和 Qwen2.5 72B 把两党分得比调查里更开:同党接触高估、跨党接触低估,最大偏差超过 1 分(在 1 到 5 分的量表上)。Mistral 7B 和 Qwen2.5 7B 是另一类毛病:普遍低估共和党朋友的数量,连共和党人自己也低估。有趣的是,一对一问答虽然结构最不像真的,它给出的政治环境反而常常更接近调查。此外,两张网络的政治同质性只差 0.02 以内,同一个虚拟人身边的政治环境仍可能差出将近 1 分,而且在结构完全及格的网络里也一样。
最后是人群差异。西班牙裔、45 到 59 岁、本科以上学历的人,民主党朋友被系统性低估;学历低于高中、无神论者则被高估。75 岁以上老人、新教徒、中西部居民的共和党朋友被低估得最厉害,偏差可达 -1.3 分。
⑤ 讨论(这些发现说明什么?)
为什么会出现这种“整体像、局部不像”?作者的解释是,网络层面的政治同质性只是一个平均数。它告诉你“同党之间更容易连边”,却不告诉你这些边是民主党人挑民主党人,还是共和党人被漏掉。两个平均数相同的网络,可以一个把两边都拉近,另一个把一边抬高、一边压低,个体的感受完全不同。这就像两个班平均分都是 80 分,一个班人人 80,另一个班一半 100 一半 60。更麻烦的是,模型越大不代表越准:70B 的 Llama 反而把两党分得最开。作者还提醒,模型“更会挑朋友”这件事,很大程度上取决于你怎么问——是逐个问还是给名单、名单多长、投票信息放前面还是后面,都会改变网络长相。所以“模型能不能生成真实网络”不该被当成模型的固有属性。人群层面的偏差则说明,模型心里的“典型民主党人”“典型老人”带着刻板印象,这些印象落到每一次交友决定上,累积成了系统性的高估和低估。
⑥ 结论(最终结论 + 启示)
一句话总结:网络整体指标合格,不等于模拟出的社会是对的。作者的建议是,用大模型做社会模拟时,别只拿密度、模块度、同质性这些“体检总表”,还要拿真实调查做“逐人体检”,看每个虚拟人所处的环境对不对,尤其要看不同人群是否被系统性扭曲。对传播学和政治学来说,这意味着用 AI 网络去研究极化、说服、信息扩散之前,先得确认这张网给每个人配的邻居是不是可信;否则后面算出来的效应,可能只是模拟器自己的偏见在打转。
🎓 专业 IRMaD 结构解读
I. Introduction(引言)
大语言模型已被用来扮演受访者、生成问卷回答与个体决策(Argyle 等 2023;Bail 2024)。网络生成是较新一支:Chang 等(2025)发现 LLM 能生成结构接近真实的友谊网,却高估政治同质性。问题在评估分辨率——既有工作只比对密度、聚类、模块度与 assortativity,而结构合理的网络仍可在个体层面失真:ego 身边的党派构成决定其信息暴露与极化轨迹(Huckfeldt & Sprague 1995),这恰是聚合指标看不见的。
本文以 ANES 2020–2022 社交媒体研究的自报党派接触为基准,对同一批 persona 的 ego 网络逐人对表。贡献有三:在 1,000 次生成上刻画结构与 assortativity 变异,以 57 张真实友谊网定合格线;实施 ego 级暴露的 MSD 检验;证明 assortativity 相同的网络仍可给出不同的个体政治环境,即 macro–micro 错配在单步连边中同样成立。
I. Theoretical Framework & Hypotheses(理论框架与假设)
两条理论线索交汇:同质性/同配混合——友谊更可能发生在相似者之间(McPherson 等 2001),政治是最强维度之一;政治环境的社会化效应——身边党派构成影响投票、参与与态度(Huckfeldt & Sprague 1995;Campbell 2013),故 ego 级暴露本身是需被复现的实质变量。据此把效度拆为结构效度、个体暴露效度、聚合—个体一致性三层。
| 编号 | 研究问题 | 理论依据 |
|---|---|---|
| RQ1 | 生成网能否落入真实友谊网五项指标范围 | 结构现实主义;同质性 |
| RQ2 | ego 级暴露能否复现 ANES 自报 | 政治环境社会化 |
| RQ3 | 同配相近的网络是否生成相近的 ego 暴露 | macro–micro 错配 |
| RQ4 | 误差是否集中于特定群体 | persona 扁平化与刻板印象 |
作者不设方向性假设,而把 assortativity 当作聚合代理变量,检验它能否替代个体级验证。
M. Materials & Methods(材料与方法)
- 样本:ANES 2020–2022 Social Media Study(选前 5,750、选后 5,277 人)。保留有效事后分层权重、暴露题有效、七项属性齐全者,按性别×年龄组×族裔×学历加权分层抽样得 N=100(Table S1:投民主党 43.0%、共和党 34.0%)。
- 模型与温度:Llama-3.1-8B、Qwen2.5-7B、Mistral-7B-v0.3、Llama-3.1-70B-AWQ4、Qwen2.5-72B-AWQ4,单张 A40 本地部署,
T=0.1与T=0.7。 - persona 与任务:属性为年龄、性别、族裔、学历、居住州、宗教、2020 投票,另设两种属性序(vote 最先/最后)。pairwise(c1)逐 alter 二元判断;list 法(c5/c10/c25/c50)在单提示中给 5/10/25/50 个候选,只返回愿交友的 ID。每配置 10 个种子,共
5×5×2×2×10=1,000次生成。 - 网络与指标:nomination 网(有向,含全部提名)测暴露;reciprocal 网(互选才连边)测结构。五项指标为平均度、平均聚类、LCC 占比、归一化最短路、Louvain 模块度(密度因依赖规模排除)。基准为 13 个数据集共 57 张友谊网,等权取加权 2.5/97.5 分位(平均度 0.679–11.436、模块度 0.212–0.881),五项全中才算 plausible;另算五个属性的同配系数。
- 暴露对齐:ANES 题 1=None 至 5=All;生成侧以 ego 出边中两党 alter 占比(分母含非两党的有效出边)按 0.2 间隔映射到 1–5。
MSDp=(1/N)Σi(ELLMi,p−Esurveyi,p),按 ego 组(Dem/Rep/Other)×alter 党分算。 - 一致性与群体:同模型匹配
|Δrvote|<0.02(稳健 0.05)的网络对,比较同一 persona 暴露类别的绝对差;群体误差仅纳入 persona≥5 的组。 - 推断:全文未做正式显著性检验,只报 10 次重复标准误;配对非独立观测,按描述性处理。
R. Results(结果)
- 结构合格率:1,000 张 reciprocal 网中 332 张(33.2%) 五项全合格。按提示法:c1 2%、c5 0%、c10 20%、c25 64%、c50 80%;按模型:Qwen2.5 7B 61%、Llama-3.1 8B 40.5%、Llama-3.1 70B 40%、Qwen2.5 72B 24.5%、Mistral 7B 0%。平均度是最严约束。
- 结构变异与同配:c1 方差最大,Mistral 近乎完全图(平均度 98.6–99.0、模块度 0);list 法随名单增大,平均度与聚类下降、最短路与模块度上升。性别同配≈0,族裔、学历、宗教随名单增大而升;投票同配最高且分化:Llama-3.1 70B 达 0.944、Qwen2.5 72B 约 0.65–0.74、Mistral c50 仅 0.059–0.082。
| 模型(c25, T=0.1, vote last) | 民主党 ego:Dem/Rep | 共和党 ego:Dem/Rep | 模式 |
|---|---|---|---|
| Llama-3.1 70B | +1.486 / -1.116 | -1.441 / +1.735 | 隔离放大 |
| Llama-3.1 8B | +1.488 / -1.116 | -1.012 / +1.018 | 隔离放大 |
| Qwen2.5 72B | +0.974 / -1.019 | -0.826 / +0.318 | 同向更温和 |
| Mistral 7B | -0.216 / -0.384 | +0.138 / -0.879 | 低估共和党 |
- 稳健性:模型间差异大于配置间差异;名单大小改变幅度但方向稳定,两档温度一致。c1 是例外,多个模型反而更接近调查,尽管其 reciprocal 网几乎不合格。改用 reciprocal 网后分离增强,Llama-3.1 8B 共和党 ego 由 -1.012/+1.018 变为 -1.441/+1.315。
- 同质性≠个体环境:0.02 阈值下可配对数(nomination/合格 reciprocal):Llama-3.1 8B 3,092/484;Qwen2.5 7B 4,221/1,019;Llama-3.1 70B 3,039/1,723。同配相差不到 0.02 时,同一 persona 暴露仍可差近 1 分,在合格 reciprocal 网中亦然。
- 群体误差:民主党暴露被低估:西班牙裔(-0.830)、45–59 岁(-0.532 至 -0.608)、本科及以上(-0.544);非裔除 Llama-3.1 8B 外均低估。高估见于低于高中学历(+0.810)与无神论者(+1.136)。共和党暴露以低估为主:75 岁以上(-1.329)、中西部(-0.652)、新教徒(-0.726)。党派镜像:民主党选民高估接触民主党(+1.226),共和党选民反之(Dem -1.128/Rep +0.980)。
a / D. Discussion & Conclusion(讨论与结论)
- 机制:assortativity 是单一标量,只刻画同类相连的相对倾向;ego 暴露取决于同党边与跨党边在三个 ego 组上的完整分布。同一同配水平可由“两边都更强”或“一边被系统性漏掉”生成,聚合指标在数学上无法识别后者;该 macro–micro 错配在单步连边中即已出现,无需多智能体反复互动。
- 规模不是解药:70B Llama 的隔离放大最强,Qwen2.5 72B 合格率(24.5%)反低于 7B(61%)。提示架构对结构的塑造力不亚于模型本身,故“能否生成真实网络”不应表述为模型固有属性。
- 意义与启示:把政治环境还原为 ego 级暴露,为 LLM 社会模拟提供可外部验证的中间层;以 LLM 网络研究说服、扩散、极化时,微观连边误差会沿传播放大。实践上应同时报告聚合指标与 ego 级基准。
- 局限:基准为自报“感知环境”而非完整网络;仅 N=100;persona 仅七项属性,忽略机会结构;仅五款开源指令模型且含 AWQ4 量化,未必外推到闭源或基座模型;连边为一次性静态决策;无正式显著性检验,配对非独立观测。
- 资助:NRRP MUR / NextGenerationEU;Horizon Europe #101120237-ELIAS、#101120763-TANGO。代码见 github.com/tonmarco/llm-social-networks-replication。
🧠 IRMaD 思维导图
mindmap
root((AI政治网络可信吗))
I 引言
大模型扮演选民
人物卡生成朋友圈
只看整体指标不够
个体政治环境被忽略
ANES 提供经验尺子
R 问题
结构是否像真实网络
个体暴露能否对上调查
同质性相同环境是否相同
哪些人群错得最多
M 方法
ANES 百人分层样本
五个开源指令模型
温度零点一与零点七
一对一与名单五到五十
五十七张真实友谊网
平均偏差对照五分表
R 结果
三成三网络结构合格
同质性最高零点九四
Llama 高估同党一分
小模型低估共和党
同质性近环境仍差一分
老人新教徒低估最重
a 讨论
整体像不等于局部像
同质性是平均数
模型更大未必更准
问法改变网络长相
刻板印象累积成偏差
D 结论
聚合指标会掩盖错误
须做逐人体检
调查可当经验基准
模拟前先验网络
极化研究慎用
图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。