arXiv 预印本 · 主类 cs.MA(多智能体系统)· 2026-11-03 提交 · HTML 页眉标注 SocialAgent Workshop · abs 页无期刊或会议录用信息 · 作者 Justin Downes、Robby Milletich、Newel Hirst

同法不同题:苦涩的教训为何不能为社会仿真背书

Justin Downes, Robby Milletich, Newel Hirst · arXiv 预印本 · 2026 · arXiv: 2611.05717
原题:Same Method, Different Task: What the Bitter Lesson Does Not License in Social Simulation
Open Access 新颖度 0.80

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

“苦涩的教训”是强化学习先驱萨顿写的一篇短文,意思是与其把我们认为的知识手工写进程序,不如造一个通用方法,让它靠算力自己学。这个说法后来被广泛引用,用来解释为什么下棋、语音识别、图像识别、蛋白质结构预测里,手工设计的方案最后都输给了通用方法。

这篇论文注意到,这些成功案例其实都藏着一个没有被说出口的前提:通用方法和手工方法解决的是同一道题。国际象棋里,两种办法都在挑赢棋的着法;语音识别里,两种办法都在把声音变成文字;图像识别里,两种办法都在给图片分类;蛋白质折叠里,两种办法都在从序列预测三维结构。通用方法只是随着算力增长,把同一道题做得更好。

社会仿真做的事情形状不一样。它把手工写的智能体,比如阈值规则、有界信任更新、效用函数,换成一个大模型;而大模型是在另一道题上训练出来的,那道题是预测文本里的下一个词。这不是把智能体仿真做得更好,而是换了一道题,再把答案搬过来用。

② 研究问题(要回答什么?)

论文要追问的是:把大模型塞进社会仿真,到底有没有得到“苦涩的教训”的授权。

作者把它拆成两层。第一层是逻辑上的:那个道理成立需要什么条件,社会仿真有没有满足。第二层是经验上的:如果不满足,会留下什么可以观察的痕迹。作者认为痕迹就是三件在既有研究里被当成孤立缺陷的事情:模型表现出的合作倾向在“对齐训练”之前就已经有了;群体层面的合作统计对得上人,个体层面的行为却对不上;模型群体高度同质,几乎只有一个声音。

再往下还有一个更正面的问题:模型缺的到底是什么。流行的答案是“涌现不足”,但作者认为涌现很便宜,真正缺的是“利害”,也就是智能体不会因为自己的选择承担后果。围绕这一点,作者提出一个可以检验的预测:把后果变成持续存在的约束,而不只是写在提示词里的数字,智能体的策略应该向自己的生存线移动。

③ 研究方法(怎么做的?)

作者设计了一个四人共享资源池的实验,改编自已有的公共池塘资源仿真框架。四个人共用一只初始两百、上限三百的物料池,一共走八期,每期每人申报零到三十六单位的提取量。池子按规则回补:大家取得少就回补得多,取得多就回补得少;如果池子见底,还要再补一次,补完仍然是零,所有人出局。

五百四十个大模型智能体分成三个模型家族,每个家族在三种条件下各六十个,每四个一组,共一百三十五个小组。三种条件只有“代价”不同:第一种只把收益写在说明里,取走的东西当期用完、不结转;第二种给每个智能体一个会消耗的储备账户,每期固定扣二十,账户归零就永久出局;第三种只给同样的场景叙述,不说明取走的东西最后去了哪里。

八期结束后,每个还活着的智能体要做一份策略问卷:在别人平均取走零、四、八直到三十六的十种情形下,分别说出自己打算取多少。这套问卷和用来给人类合作类型分类的工具是同一套。作者在正式跑之前,就把主要假设、样本量和排除规则冻结在二零二六年八月十七日。

④ 结果(发现了什么?)

八期实验里,最先露出来的是末期抢提。最后一期,第一种条件下的智能体明显多取:一个家族比中期均值多提十七点七单位,另一个多提九点二单位。第二种条件把这个冲高压了下去,前者只多六点零,后者几乎为零。作者的读法是,模型在照着一段合作剧本演,剧本的逻辑一到期,它就立刻转向自利。

再看事后问卷。当别人取得很少时,一个家族的智能体在第一种条件下会取三十以上,在第二种条件下只取十八左右,正好压在自己的生存线之上,两者相差十二点一单位;另一个家族同样转向,相差八点八。第三个家族两种条件没有差别,因为它在第一种条件下就已经在演合作剧本。

但真正的关键指标不是合不合作,而是群体里有没有分歧。结果是没有:所有格子里搭便车者的比例都是零,绝大多数智能体都属于同一种合作类型。人类样本里通常有三成左右的搭便车者。

作者还发现,池子最后停在哪里根本说明不了问题。按回补规则,只要大家取得够多,池子必然在两到四期内被推到三十,连照脚本行动的智能体也这样,所以那只是数学上的吸引子。真正硬的发现是,在第二种条件下,有百分之二十二到三十二的智能体因为取太少而破产,其中一个家族六十个里有十三个;而在全部五百四十个智能体里,只有一百三十三份有效的第二种条件问卷,没有一个人把提取量填到最大。

⑤ 讨论(这些发现说明什么?)

作者用“缺利害”这一个说法,把三件原本分开的异常串了起来。第一,合作倾向在基础模型里就有,甚至比经过对齐训练的版本更强,说明它来自预训练读过的文本,而不是后来的乐于助人训练。第二,群体统计像人、个体机制不像人,因为一个没有自身收益的智能体可以模仿文本里的平均行为,却无法真的做为自己止损的算计。第三,群体同质,因为大家其实是从同一个生成器里采样出来的不同人设。

作者也认真处理了几种竞争解释。最像的是“人设不够多样”:如果给每个智能体不同的背景故事就能冒出搭便车者,那同质就不是利害问题。这一点论文没有直接检验,是它自己承认的最大缺口。另一个竞争解释是“环境没搭好”,作者承认这次的环境确实不合格:提取量不受库存限制,池子高低不进任何人的收益,崩溃条件永远不触发,所以它其实没有真正的公共池困境。

这也是这篇论文最诚实的地方:它给出的是一份设计蓝图和一组提示性证据,而不是一个判决。

⑥ 结论(最终结论 + 启示)

这篇论文对做政策和传播仿真的人有一句很实用的提醒:先看你研究的现象属于哪一类。

如果现象靠传就能成立,比如惯例怎么形成、消息怎么扩散、舆论怎么级联、语言怎么变,那么一个只读过文本、不承担后果的模型大体够用,因为它要复现的是传播规则本身。但如果现象的定义里就带着有人可以不合作而占便宜,比如合作与背叛、惩罚与制裁、谈判、集体行动、规则遵从、制度设计,那么一个没有利害的观察者造不出这个机制,它只能演出合作的样子。

对公共管理来说,这意味着用大模型智能体去估政策反应、去模拟公共池塘资源治理或协商过程时,很可能系统性地高估共识:模拟出来的公众里没有搭便车者,也没有坚决的反对者,意见分布会比真实社会窄。对计算传播学来说,做扩散和意见演化可以继续用,但要把结论限定在宏观动态上,不能说个体机制已经被验证。作者给出的出路是让智能体在混合动机的环境里被塑造,而不只是被考试:给它们持续的名誉、不会自动回满的资源,让背叛真的有代价。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

“苦涩的教训”(the bitter lesson)主张:与其把领域知识手工编码进系统,不如只保留能捕获复杂性的元方法,让通用方法随算力增长自己去学(Sutton, 2019)。这一表述近年被借用来论证:社会仿真中手工编写的智能体,包括阈值规则、有界信任更新与效用函数,应当由大语言模型取代。

本文指出,这一借用漏掉了原论证的前提:在 Sutton 所举的每一例中,通用方法都是在同一项任务上被规模化,并与领域工程正面比较。国际象棋的位置启发式与深度搜索都在选择制胜着法,语音识别的音素模型与统计学习器都在把波形映射为转写,图像识别的边缘检测与卷积网络都在分类,蛋白质折叠的力场与 AlphaFold 都在从序列预测结构(见表)。通用方法胜出,是因为算力让同一道题被做得更好,而不是因为它把题换了。

社会仿真做的是另一种形状的替换:把手工智能体换成一件在另一项任务上规模化的产物,即对人类文本的下一个词预测。这不是把仿真做得更好,而是换题之后搬答案;动作形似苦涩教训,却不在其授权范围内。作者还指出,Sutton 本人后来认为大模型高度依赖人类知识,并预期能从经验中学习的智能体将取代它们(Silver and Sutton, 2025; Sutton, 2025);照此推论,大模型本身是苦涩教训的又一个案例,而不是它的证明。

由此有两条推论:迁移必须被论证;这次替换丢掉了 ABM 传统(Epstein, 1999)本已做对的一点——社会现象的定义里包含当事人。文章先给出这一条件与“缺的不是涌现而是利害”的机制(第 1–2 节),再把既有文献的三类异常重解为证据(第 3 节),报告一项预注册的 540 智能体试点(第 4 节),辨析五种竞争诊断(第 5 节),最后给出适用边界与研究纲领(第 6–7 节)。对公共管理与传播研究而言,这一区分决定哪些仿真结论可以进入政策论证、哪些只能作为宏观动态的示意。

I. Theoretical Framework & Hypotheses(理论框架与假设)

核心论证可压缩为一个条件加一个机制。条件是任务同一性:只有当通用方法与领域工程求解同一目标时,规模化才构成对领域知识的替代。机制是利害:预测是一项孤独的行动,预测者站在互动之外,不承担互动的任何后果,也没有任何利益会因结果而增减;而合作、背叛与规范执行是有利益关系者的现象,其定义本身就包含某人可以通过违背集体利益改善自身处境这一可能性。没有这种可能性,现象不是变弱,而是不存在。

领域领域工程通用方法被替代的共同任务
国际象棋位置启发式深度搜索选择制胜着法
语音识别手工音素模型统计学习器波形映射为转写
图像识别边缘检测流水线卷积网络图像分类
蛋白质折叠物理力场AlphaFold从序列预测三维结构
社会仿真阈值规则与效用函数文本下一词预测器并非同一任务

论证有两个彼此独立的支点。其一是结构性的:下一词预测不直接优化仿真内回报。文本描述利益、行动与后果,支付结构有时可从中推断,但被动文本对反事实支付函数的识别不足——读者只看到一条轨迹,看不到能揭示激励梯度的替代轨迹;国际象棋里被预测的词元序列决定胜负,社会文本里选择与后果却脱钩。其二是发生学的:合作倾向可以来自预训练语料中合作被规范性赞许的统计事实,而不需要任何自身收益。

作者据此分开三件常被混为一谈的事:持续后果(状态跨期携带并约束后续选择)、被表示的效用(智能体追求的目标,冻结策略也可追求状态依赖目标)、从回报中学习(策略被经历过的结果更新)。本文主张针对第三项,但试点只操纵了第一项,故不能证明第三项必需——这也是作者把混合动机训练称为最直接检验、而非试点推论的原因。

与涌现的关系需单独澄清。作者认为涌现很便宜:生命游戏四规则即生滑翔机,Boids 与 Ising 模型局部耦合成结构,LLM 群体已有惯例形成、级联传播与社群自组织。问题不在涌现动力学,而在现象定义层面:谢林的智能体粗糙但有利益,LLM 智能体精致却无利益。

M. Materials & Methods(材料与方法)

试点改编 GovSim(Piatti et al., 2024)的公共池塘资源框架:四名智能体共享一只物料池(初始 200、容量 300),共 8 期,每期各申报 0–36 单位,申报不受库存上限约束、报多少发多少。每期末池位先取零下限再回补:合计申报低于提取前池位 50% 时回补缺口至容量的 20%(足额回补),否则回补 10%(部分回补);回补后仍为零则全体永久出局。由于从零部分回补恒为 0.10×300=30,崩溃在运行中从未触发。

样本为 540 个智能体,三个模型家族(Claude Sonnet 4.6、Llama 4 Maverick 17B、Amazon Nova Pro),每个家族每种条件 60 个,温度 1.0;4 个一组,每格 15 组,3 条件 × 3 模型 = 9 格 = 135 组。三种条件只改变代价结构,场景描述与环境动力学相同。

条件支付设置跨期机制除名
A(陈述性)收益被描述但无实际后果;提取物当期送达、不结转无无
B(持续且约束)每人一个储备账户,初值 50;申报额入账,每期固定扣运营成本 20有;存活 8 期需均值提取 ≥13.75账户归零或池位崩溃即永久出局
C(仅叙述)同样的场景叙述,但删除提取物按期送达本区域与不结转两句无无

八期后存活智能体完成 Fischbacher 等(2001)的策略法问卷:在他人平均提取量 0,4,8,…,36 的十个水平上报告自己的拟提取量,形成 10 点条件策略表。分类器在合成策略表上验证:平坦取最大为搭便车者,负斜率为补偿型(他人多取则自己少取,提取框架下即合作),正斜率为跟随型,平坦取零为不可分类;因动作是提取而非贡献,斜率方向相对贡献博弈相反。

主要假设、分析计划、样本量与排除规则于 2026 年 8 月 17 日、正式运行前冻结。主要假设:B 条件在他人低提取处的策略表出现接近运营成本(20)的地板。次要假设:TVD(B, 人类) 小于 TVD(A, 人类),因人类基线来自另一博弈仅作定性比较。轨迹、存活界与池位分析为探索性。全部调用 4,768 次,输入 4.2M 词元、输出 343K 词元。

必须在此写明的缺陷:如 §4.6 所述,环境不含真实支付外部性——申报永远足额发放,池位不进任何人的收益,崩溃从不触发,一个人的行为无法影响另一个人的结果。因此试点检验的是对持续后果的敏感性,而非合作或搭便车;问卷条件化的他人提取量在该环境中是因果惰性的。

R. Results(结果)

预注册假设的检验结果见表。主要假设只得到部分支持:B 条件的策略表确实出现接近运营成本的地板,但只在 Llama 与 Nova 成立;Claude 两种条件无差异(B−A 的 95% 置信区间 −2.5 至 +1.9),因其在 A 条件下已执行合作脚本。

编号假设与预注册地位检验结果
H1主要:B 策略表在他人低提取处出现接近运营成本(20)的地板Llama、Nova 支持;Claude 不支持(2/3)
H2次要:TVD(B, 人类) 小于 TVD(A, 人类),定性比较Nova 0.483→0.440;Llama 恒为 0.500;Claude 0.440→0.457(1/3)
H3探索:持续代价抑制末期抢提支持:Claude +17.7→+6.0;Llama +9.2→+0.6(不显著)
H4探索:持续代价产生人类式类型异质性不支持:九格搭便车比例均为 0.00

八期轨迹显示持续代价是动态行为的调节变量。末期 A 条件明显抢提:Claude A 比中期均值高 17.7 单位(SE 1.1),Llama A 高 9.2(SE 1.6);B 条件抑制冲高,Claude B 仅 +6.0(SE 0.6),Llama B 为 +0.6(SE 2.7,不显著)。作者读作照着被描述的剧本演:剧本逻辑在终局失效,预测者立刻转向自利。该小节 SE 按个体计算、未按组聚类因而偏窄,作者标为探索性。Nova 在 B 下反向:提取随时间上升(斜率 +0.65 单位/期,SE 0.33;A 与 C 为 −2.0、−1.7)。在每期需取 13.75 才能存活的约束下逐期加码本属理性,但 Nova 加码太晚,死亡集中第 5–7 期(中位第 7 期);其病死率最高(第 8 期 32% 破产,Claude 22%、Llama 25%),说明持续代价与模型推理特征交互。

策略法问卷给出方向性证据。他人提取很少时,Llama 的 A 智能体取 30 以上(群体可持续余量),B 仅约 18(略高于自身偿付线),相差 12.1(95% CI 10.2–13.8);Nova 同样切换,相差 8.8(CI 5.8–11.4),B 策略表在 16–18 近乎平坦;Claude 无差异。区间均为按组重抽的自举区间。作者强调,从集体最优切到自身生存数意味着对持续状态有响应,但仍不是利益:B 同时打包状态、算术、反馈与除名,无法与仅仅满足新算术区分。

判别指标是群体能否复现人类分歧,而非单个智能体是否合作——足够好的模仿也会合作,此即塞尔意义上的中文屋。结果否定:九格搭便车比例均为 0.00,Claude 92%–96%、Llama 100%、Nova 95%(B 降至 51%)为补偿型;人类样本通常有三成左右搭便车者。Nova B 的 27% 转向跟随型只是分类重划。

模型条件补偿型(负斜率)跟随型(正斜率)搭便车不可分类
ClaudeA0.920.020.000.07
ClaudeB0.960.000.000.04
ClaudeC0.930.050.000.02
LlamaA1.000.000.000.00
LlamaB1.000.000.000.00
LlamaC1.000.000.000.00
NovaA0.950.030.000.02
NovaB0.510.270.000.22
NovaC0.950.050.000.00
人类基线—0.50—0.300.06(另有 14% 驼峰型)

与人类基线的 TVD 全部不低于 0.44:Nova B 0.483→0.440,Llama 恒为 0.500,Claude 0.440→0.457。存活界显示,把出局者全记为搭便车者可将 TVD 压到 0.25–0.29,但这是算术巧合(死亡率 22%–32% 恰近人类三成搭便车率);按更可信的出局者记为补偿型补记则 TVD 不变。九个格子均无崩溃(0/15),135 组全部活到第 8 期;池位 30 是部分回补规则的机械吸引子(脚本取 36 需 2 期、取 20 或随机需 4 期即收敛),故 Claude 在 A、B 两条件下的 SD=0 不是协调证据。独立的发现是破产:Claude B 有 13/60 因均值提取 13.4 低于 13.75 生存线而出局,三家族 B 格破产率 22%–32%;全部 540 个智能体中没有一格出现最大提取策略表,B 条件 133 份有效问卷里多数人宁可低于生存线也不取满。

a / D. Discussion & Conclusion(讨论与结论)

作者的主要证据不是试点,而是对既有文献的重新解读:三件此前被视为彼此独立的缺陷,可由无利害的预测者一条同时推出。

异常既有解释本文解释判别性观察
合作倾向早于对齐训练后训练(助手化/RLHF)造成过度合作合作先验来自预训练文本,指令微调反而部分压制它(Llama-3-8B:基座强于指令版)基座模型的合作应不低于、甚至高于指令版
宏观一致而微观失真模型能力或提示不足无自身收益者可复现文本里的平均模式,却无法实现为自己止损的条件策略推理改进应朝陈述的激励方向移动,而非固定偏向合作
群体同质、越新越差采样随机性不足或人设单一单一生成器加无冲突利益,群体收敛到被文本规范性赞许的合作类型人设多样化仍不产生稳定的搭便车少数派

其中“能力不必然有帮助”还给出可证伪的方向性预测:若推理提升只是让模型更好执行被陈述的激励,则激励指向背叛的博弈应出现更多背叛、指向合作的应出现更多合作;相反结果不利于该解释。现有证据混合——推理模型在间接互惠中更贴合激励(Zhu et al., 2026),却在公共品博弈中成为搭便车者(Guzman Piedrahita et al., 2025)——但都与只对陈述支付作响应相容。

五种竞争诊断见下表。模式坍缩被作者视为最可信也最未被检验的对手;其反驳是模型收敛到的是合作这一特定策略而非任意策略,更像在规范性赞许合作的文本上训练的预测者,而非坍缩的采样器。但人设多样性未被操纵,该解释仍未被排除。

诊断其预测本文的解释或观察
模式坍缩人设多样化会产生搭便车者人设多样化不会;需要利益
对齐过度调优基座模型更常背叛基座模型更常合作;压制来自预训练
环境不充分(Li and Tao, 2026)更好的环境能补上差距无利益者在好环境里仍无利益
上下文支付即利害陈述支付与约束性支付行为相同提示词里的数字不是利害(B 与 A 的差异)
宏观一致即足够类型分布不重要类型分布就是现象本身

作者自述的局限有五项。

判别规则仍可操作,且对公共管理与传播研究有直接后果:若现象在定义上包含当事人可通过违背集体利益改善自身处境,无利害的预测者就无法实例化它;研究者要么(a)给智能体持久代价,使背叛有成本、合作在工具意义上理性,要么(b)把结论限定在总体动态并承认个体机制未被验证。可恢复的现象包括惯例、扩散、意见动力学、语言变迁、规范级联(规范已存在之后)与人工物的文化演化;需要当事人的现象包括合作与背叛、制裁、谈判、集体行动、规范形成(而非传播)与制度设计。对公共管理而言,凡涉及公共池塘资源治理、规则遵从、协商与听证、制裁设计的政策沙盘结论,都不能由无利害智能体支撑;用智能体估计公众政策反应时,模拟人口里既无搭便车者也无坚决反对者,意见分布会系统性偏窄,从而高估共识与政策支持的一致性——这是当前生成式公众意见研究最需警惕的偏误。对计算传播学而言,扩散与意见级联研究可继续使用无利害预测者,但只能主张宏观动态复现,不能声称个体机制已被验证,否则会把文本先验驱动的合作误当成有条件合作,高估其在遭遇新背叛时的稳健性。

作者的项目建议因此很窄:去找“解题必须让智能体成为当事人”的任务。混合动机环境(Melting Pot、Concordia 竞赛、M3-BENCH)已存在,但目前只用于评测而非训练;合作式多智能体强化学习给共享回报,恰好消掉使合作成为问题的张力;持续后果要求名誉可受损、资源不自动回满,情节式重置则摧毁产生社会结构的压力。作者给出三向比较:冻结的下一词预测者、单局内获得持续后果的有状态智能体、针对持续且交互级后果训练过策略的智能体,分别在陈述支付与持续状态两种条件下、在零和与混合动机博弈中运行;评价标准不是集体收获,而是类型分布是否在等价激励下出现人类比例的条件合作者、搭便车者与惩罚者。作者预测只有第三类能做到。末句限定同样重要:利害让社会机制存在,但不会让它成为人类的机制;标靶仍决定机制对不对。更一般地,若模型要在真实后果下行动,它或许需要与预测者不同的预训练:不只描述行动与结果,而是行动、后果、持续状态与长期回报。

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((苦涩教训的边界))
    I 引言
      苦涩教训原意
      四个成功替换
      共有一个前提
      社会仿真换题
    R 问题
      授权是否成立
      缺涌现还是缺利害
      预测者不担后果
      文本难还原支付
    M 方法
      五百四十个智能体
      三种代价条件
      八期公共池
      策略法十点问卷
      预注册主要假设
    R 结果
      末期抢提被压住
      两个家族转向
      头部模型不转向
      搭便车者为零
      池位三十是假象
    a 讨论
      三类异常同源
      模式坍缩未排除
      环境本无困境
      竞争解释难分辨
    D 结论
      扩散类仍可用
      合作类要有代价
      混合动机训练
      预测者不是当事人

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。