NeurIPS 2026 SocialAgent Workshop 已录用 · arXiv cs.MA 预印本 · 12 页 1 图 2 表

大模型社会智能体的情境丰富与选择性稳健性框架

Mattia Greiche, Reihaneh Rabbany, Maximilian Puelma Touzel · SocialAgent Workshop @ NeurIPS 2026(Second Workshop on Large Language Models for Social Reasoning and Simulation) · 2026 · DOI: 10.48550/arXiv.2611.06914 · arXiv: 2611.06914
原题:A Framework for Context Enrichment and Selective Robustness in LLM Social Agents
Open Access 新颖度 0.72

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

大模型如今常被当成社会仿真里的一个个“人”来用。研究者给它一段身份和处境,让它自己决定怎么做,再把它的选择当成社会行为的证据。这套做法成立的前提,是模型真的读懂了那段背景,而不是被措辞牵着走。可已有研究发现,同一件事只要换个说法,模型的行为就可能大幅漂移,有的合作率甚至能差出七十多个百分点。这样一来,仿真结果究竟反映了社会情境,还是反映了提示词的排版,就很难分清。作者认为,要让大模型社会仿真站得住,必须先把它在提示词变化下的稳定性当成一件正经事来检验。

② 研究问题(要回答什么?)

这篇论文要回答两个问题。第一,把更多背景信息塞给智能体,能不能让它对无意义的措辞变化不那么敏感。第二,什么样的背景才算有用。作者指出,过去的研究把背景更丰富当成一个整体来谈,可多加的文字可能只是无关细节,也可能是把智能体和当前决策真正连起来的制度信息,两者的作用完全不是一回事。如果不把背景按功能拆开,就无法判断究竟是哪一部分在起作用。因此他们提出一个受控的情境丰富框架,把背景拆成若干可替换的模块,再配上一套检验标准,看模型是不是既扛得住换写法,又会对真实世界的变化做出正确方向的反应。

③ 研究方法(怎么做的?)

作者把情境丰富拆成五档,从最简版开始依次替换。最简版只给角色、任务和两个世界的区别;第二档加的是与决策无关的日常细节;第三档加的是组织里的角色关系;第四档把智能体和决策对应的制度程序连起来,只做描述不做规范;第五档在第四档基础上,明确写出角色有遵守该程序的要求。实验场景是一家医院的应急物资管理员,要在调拨和保留之间做选择,收益结构与囚徒困境一致。两个世界分别对应区域统一安排和各家医院各自安排,作者事先预期在区域世界里调拨会更多。四种写法分别是规范散文、项目符号、键值表和改写散文,用两个同族模型各跑四十种组合,每种重复十次,共八百次调用。

④ 结果(发现了什么?)

结果分成两类。没有和决策挂钩的那几档背景,大多没能同时做到稳和准:有的对换写法很敏感,有的虽然稳,却几乎不理会区域与地方的区别。一旦加上第四档或第五档的决策关联背景,两个模型都开始明显按预期方向反应,区域世界的调拨概率远高于地方世界。差别在于稳定性。一个模型在加了决策关联背景后,换写法的平均波动从二十多个百分点降到不足四个百分点,另一个模型则仍维持在十多个百分点。最刺眼的是地方世界里的改写散文:在第五档条件下,另一个模型的调拨概率从不足百分之一跳到接近九成,说明它对措辞的依赖并没有消失。

⑤ 讨论(这些发现说明什么?)

作者强调,这套指标不是用来证明模型像人的。它只是一个内部诊断:模型该稳的时候稳、该变的时候变,说明它确实在用社会信息,而不是在复读提示词的表面形式。但反应的方向对,不等于幅度对,模型可能在区域世界给出百分之百、在地方世界给出零,而真人的差别也许温和得多。作者还提醒,加了决策关联的背景本身也会让区域与地方的差别更显眼,所以实验无法完全把决策关联和信息更突出这两件事分开。再加上只测了一个决策场景、两个同族模型,也没有独立的人工评分者核对四种写法是否真的同义,这些结论只能算试点。

⑥ 结论(最终结论 + 启示)

论文的落点是把情境的构造方式当成实验设计的一部分。作者主张,研究者在做智能体仿真时应当说明每一块背景各自要起什么作用,并用受控替换来检验它的效果。稳健性审计也不能只看换写法会不会变,还要同时放一个真实世界的变化,看模型有没有朝事先说好的方向动。他们把这套组合称为选择性稳健性,并把它定位为社会仿真的一种效度检验工具。至于这套框架在别的决策、别的场景、别的模型家族里是否成立,作者明确留给了后续研究,也建议仿真平台把写法和世界这两项检查做成可复用的评估组件。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

大模型正被广泛用作社会仿真中的行动主体:研究者用自然语言给出角色、处境、关系与记忆,再把模型的选择解读为社会行为。Concordia、SOTOPIA 等系统都把情境描述当作智能体行动的基础,情境因而成为任何 LLM 智能体仿真中无法回避的自变量。近期多篇综述与立场论文把“效度检验”列为该领域最核心的未解问题,呼吁建立更标准化、可复现的评估体系。一个具体的麻烦是:维持社会含义不变的措辞与排版改动,就足以显著改变模型行为;Ye 等(2026)报告,在囚徒困境中仅改变情境格式,合作率的变化幅度可达 76 个百分点。作者据此提出两点。其一,把情境丰富按功能拆成受控替换,而不是笼统比较背景的多与少。其二,把稳健性定义为有选择性的:对保义改写不敏感,同时对真正影响决策的社会世界变化有方向性反应。论文的三项贡献是五档情境条件的受控分解、选择性稳健性这一评估准则,以及在单一场景下验证两者可用性的试点研究;作者明确说明该试点只用于演示框架,不构成情境丰富的一般性效应结论。

I. Theoretical Framework & Hypotheses(理论框架与假设)

选择性稳健性的方法论来源是变形测试(metamorphic testing)与 CheckList 的行为测试框架。CheckList 把测试分成两类:不变性测试要求输入的微小扰动不改变预测,方向性期望测试要求受控的输入改动按事先指定的方向改变预测。作者把这一对逻辑搬到 LLM 社会智能体上:不变性对应同一社会世界的不同表述,方向性期望对应同一表述下社会世界的实质变化。两者缺一不可——表面敏感度低也可能只是因为模型根本不看情境,或者永远选同一个动作;反过来,对世界变化反应强烈但严重依赖表述,则是另一种脆弱。

情境丰富一侧,作者将其分解为五个可替换的模块,各条件之间是替换而非叠加,从而把“更长”与“更有功能”分开。五档的功能定位见下表。

条件新增情境世界对比决策关联规范力
1 最简无有无无
2 中性填充与决策无关的背景细节有无无
3 一般社会背景与决策无关的角色关系有无无
4 描述性决策关联关系、规则、适用范围有有无
5 规范性决策关联同第 4 档有有有

与公共管理与计算传播的关联在于效度而非题材。公共管理大量依赖“若制度如此调整,行为会怎样”的推演,LLM 智能体正被用于政策情景模拟与公众反应预测;若智能体的行为主要由提示词排版决定,据此得出的政策结论就不可信。计算传播学同样把 LLM 智能体当作受众、网民或受访者的替身,用其生成的态度与传播行为推断舆论动态。选择性稳健性给出的可操作门槛是:保义改写不应改变结论,制度或关系等实质变化应带来方向可预期的改变。

M. Materials & Methods(材料与方法)

试点在可配置社会仿真工作台 SiliSocS 中运行。焦点智能体扮演 A 医院应急物资管理员,在对称囚徒困境式决策中选择“调拨”或“保留”,对手面临同样选择。收益矩阵为 T=5>R=3>P=1>S=0。两个世界为区域统一安排与各医院独立安排,作者预期区域世界调拨更多。设计为 2(世界)×5(情境)×4(表述)= 40 格/模型,每格 10 次,共 400 次/模型、800 次。经 OpenAI Responses API 调用,temperature 0.7、reasoning effort none、64 token 上限、零重试,取首个输出位置对数概率,最多 20 个候选;动作返回 TRANSFER 与 RE 两前缀,转移概率按 t/(t+r) 计算。

仿真类型上,本研究属于 LLM 智能体仿真(生成式智能体路径,可归入 ABM 家族),既非系统动力学(无存量流量方程),也非离散事件仿真(无事件队列与时间推进):每次调用只有 1 个焦点智能体,对手仅以文本描述存在,无交互网络;时间步长为无,属单次静态决策;软件为 SiliSocS 加 OpenAI Responses API;无经验标定数据,收益矩阵固定。表面敏感度为同一世界内规范散文与另外三种表述均值的绝对差平均,对两世界取平均;世界响应度为区域减地方的转移概率差,对四表述取平均;95% 区间由格内 10 次调用重采样 10,000 次得到。提供方默认 top-p 为 0.98,致 339/800 次调用缺失一个候选,作者以未返回概率质量取中点,敏感性分析显示指标变动不超过 0.49 个百分点,排序不变。

R. Results(结果)

下表汇总五档条件在两个模型上的两项选择性稳健性指标,点估计后为 95% bootstrap 区间,单位为百分点。表面敏感度越低越好,世界响应度应为正。

模型情境条件平均表面敏感度世界响应度(区域减地方)
Sol最简34.1 [30.3, 40.3]33.9 [28.0, 40.2]
Sol中性填充14.2 [10.7, 17.8]6.7 [1.2, 12.2]
Sol一般社会背景27.9 [21.3, 33.7]51.1 [45.2, 56.6]
Sol描述性决策关联3.7 [1.8, 6.0]85.9 [82.4, 88.9]
Sol规范性决策关联3.9 [3.3, 4.6]92.0 [91.0, 92.9]
Terra最简19.8 [14.6, 26.9]38.6 [29.5, 47.9]
Terra中性填充15.4 [13.6, 20.2]23.7 [17.5, 29.8]
Terra一般社会背景30.6 [24.8, 38.1]-2.1 [-10.8, 7.1]
Terra描述性决策关联13.2 [10.2, 18.3]57.2 [50.0, 64.1]
Terra规范性决策关联15.0 [14.2, 15.8]77.1 [76.0, 78.5]

未与决策挂钩的条件普遍无法同时满足两项要求。以 Sol 为例,一般社会背景的表面敏感度为 27.9,世界响应度 51.1;转到描述性决策关联后,表面敏感度降至 3.7,世界响应度升至 85.9;规范性关联进一步把响应度提到 92.0,表面敏感度几乎不变(3.9)。Terra 的路径不同:描述性关联把表面敏感度从 30.6 降到 13.2、响应度从 -2.1 升到 57.2;规范性关联的表面敏感度为 15.0,响应度 77.1。也就是说,两个模型都因决策关联而变得对世界更敏感,但只有 Sol 同时取得了表面稳定。

单元格均值揭示了聚合数字背后的异质性。Sol 在描述性与规范性条件下,区域世界的调拨概率为 77.6% 至 99.2%,而所有地方单元格均不超过 0.1%。Terra 的关联条件在区域世界同样接近天花板(97.6% 至 100.0%),但其地方单元格在某些表述下急剧漂移:地方描述性条件下,改写散文给出 84.1%,其余三种表述为 19.0% 至 36.5%;地方规范性条件下为 89.9% 对 0.2% 至 0.9%。因此 Terra 在关联条件下残余的表面波动,主要集中在地方世界的改写散文单元格。

a / D. Discussion & Conclusion(讨论与结论)

试点最值得注意的现象是:区域与地方两个世界的数值收益完全相同,可关联条件却造出了巨大的调拨概率差。这说明模型响应的是收益表之外的制度与社会信息,可能动用了关于机构角色与责任的习得联想;但实验无法确定它究竟如何得出这一选择。对公共管理与计算传播而言,这既是机会也是风险:机会在于智能体能对制度安排做出方向性反应,风险在于这种反应可能被措辞放大或反转,从而污染政策情景推演与舆论模拟的结论。作者因此主张把情境构造纳入实验设计,明确每块背景的功能,并用受控替换检验其效应。

作者同时给出三条边界。第一,选择性稳健性只是内部诊断,不证明与人类行为同构:区域与地方之差更大只说明方向对,不说明幅度合适,模型给出 100% 对 0% 也完全可能比真人更极端。第二,关联提示词本身就更多地展开了世界差异,因此决策关联与信息显著性存在混淆,实验无法完全分离;作者承认任何合理的关联提示词大概都会自然提升相关世界信息的显著度。第三,试点只覆盖一个决策场景、两个同族模型,且四种表述的语义等价性未由独立人工评分者核验,非规范提示词是否夹带规范力也未检查。后续工作应跨决策、跨场景、跨模型家族复制,并引入人工评分与真人决策基线来标定响应的合理幅度,同时把表述与世界两项检查做成仿真平台可复用的评估组件。

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((情境丰富与选择性稳健))
    引言
      大模型充当社会智能体
      情境是仿真自变量
      效度检验尚未解决
      换写法可差七十六点
    问题
      背景更多是否更稳
      丰富度定义过于笼统
      需按功能拆分情境
      稳与准须同时成立
    方法
      五档情境替换设计
      两种世界制度对比
      四种保义表述形式
      两模型各四十格十次
      表面敏感度与世界响应
    结果
      无关背景两头不靠
      关联背景响应显著增强
      一个模型同时变稳
      另一模型仍随写法漂移
      地方改写散文近九成
    讨论
      方向对不等于幅度对
      关联与显著性相混淆
      仅单场景两模型
      未做人工同义核验
    结论
      情境构造属实验设计
      审计须含世界对比
      选择性稳健作效度门槛
      跨场景跨模型待验证

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。