🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
你有没有想过，如果有一天社区要分一批保障房、学校要分一批奖学金，做决定的不是人，而是一个聊天机器人？现在的大模型已经不只是回答问题，它们开始被请进招聘、教育、医疗这些真正影响人生活的场景，替人做取舍。可是我们几乎不知道：当资源不够分的时候，模型心里那杆秤是怎么摆的？它会不会悄悄把好处都给“看起来更能干”的人，把最需要帮助的人晾在一边？这类决定一旦规模化，影响的是成千上万个家庭的命运，但此前没有一个统一的考场来测量模型的“分配良心”。
② 研究问题（要回答什么？）
这篇论文要回答三个问题。第一，能不能造一个标准化的模拟环境，让模型在长期、多轮的分资源任务里暴露真实偏好？第二，当今最强的二十个大模型，在“整体产出”和“分配公平”之间到底怎么选？第三，这种选择稳不稳——如果换一种提问方式、限制回答长度、或者有人在旁边劝说，模型的分配方案会不会立刻变脸？换句话说，作者想知道：模型的聊天能力能不能代表它的分配能力，以及这种能力有多容易被操纵。
③ 研究方法（怎么做的？）
作者造了一个叫 SWF Benchmark 的“分资源模拟器”。想象一个村子，有二十来个能力不同、起点不同的居民，每轮会来一个任务，只能交给一个人做。做得好，全村的总收益上升；但总给同几个人，其他人就永远没机会，贫富差距（用基尼系数衡量）会越来越大。模型扮演“村长”，要一轮一轮地决定任务给谁，整个过程大约一百轮，像一场持续很久的接力赛。为了公平比较，作者还设置了四种“死脑筋”的对照裁判：随机点名、只给产出最高的人、只给干得最少的人、以及在前六名里轮换。最后用一个简单公式打分：社会总福利 = 公平度 × 效率，两项都高才算真好。
④ 结果（发现了什么？）
结果相当反直觉。聊天能力最强不等于最会分配：在聊天竞技场排第 25 的 DeepSeek-V3-0324，在分配榜上冲到第 1，得分 30.13；而聊天榜并列第 1 的 Claude-4.1-Opus 和 Gemini-2.5-Pro 分别掉到第 13 和第 19，聊天榜第 2 的 GPT-5-High 更是掉到第 20（倒数第二），得分只有 17.97。大多数模型是“效率狂”：它们倾向于把任务不断交给当前产出最高的人，村子总收入上去了，但差距被拉得很大。更糟的是，这种偏好很脆弱：一旦要求模型“回答短一点”，DeepSeek-V3 的公平度就从 0.59 掉到 0.45；如果在提示里加入“这个人看起来很厉害”之类的社会影响话术，平均公平度会被抬高约 1.4 分，但总分反而经常下降。还有一个隐蔽问题：聊天榜靠前的模型特别容易被“简历光环”骗，把任务给头衔漂亮但实际产出一般的人。
⑤ 讨论（这些发现说明什么？）
作者认为，这些发现说明“会说话”和“会做公正决策”是两种不同的能力，前者根本预测不了后者。模型之所以偏向效率，一部分原因是它们在训练中见过大量“追求产出最大化”的文本，另一部分原因是它们缺少对长期不平等的感知——每一轮看起来都做了“当下最优”的选择，累积一百轮就变成了严重分化。作者还提醒，模型对提示词极其敏感：仅仅限制回答长度，就会让它“想得少、给得偏心”，这在实际部署中非常危险，因为产品经理为了省钱常常会压缩输出。所谓“社会影响”实验则显示，模型很容易被头衔、群体压力带跑，而不是坚持按实际表现分配。
⑥ 结论（最终结论 + 启示）
结论很直接：不能拿聊天排行榜当分配能力的证明，也不能在没有专门评测的情况下，让大模型去决定保障房、救助金、奖学金这类稀缺资源的归属。作者呼吁建立独立的“社会福利分配”评测，并在部署前做针对性校正，比如加入公平约束、定期审计分配结果、保留人类复核。对政策制定者来说，这项研究相当于一次压力测试：它证明了模型可以当助手，但现在还不能当裁判。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
大语言模型正从“文本生成器”转变为在高风险场景中做决策的智能体。既有研究大量关注模型的对话能力、推理能力与安全对齐，却很少系统测量它在稀缺资源分配中的价值取向。实验经济学中的第三方分配博弈（third-party allocation game）与独裁者博弈为测量分配偏好提供了成熟范式，但这些范式尚未被移植到 LLM 评测中。本文的贡献有三：其一，提出首个面向 LLM 的社会福利分配基准 SWF Benchmark；其二，给出覆盖 20 个前沿模型的首份排行榜，并与通用聊天竞技场排名对照；其三，通过输出长度约束、社会影响话术与初始标签扰动三组实验，识别分配行为的脆弱性来源。
I. Theoretical Framework & Hypotheses（理论框架与假设）
理论出发点是把社会选择理论中的社会福利函数操作化为可计算的评测指标。作者采用乘积型社会福利函数：
SWF = (1 − Gini) × ROI
其中 ROI（Return on Investment）度量集体效率，Gini 系数度量分配不平等，1−Gini 即公平度。乘积形式意味着任一维度趋近于零都会使总分坍塌，从而惩罚“只顾效率”或“绝对平均但毫无产出”的极端策略。研究问题可归纳为三组：RQ1 模型的通用对话能力能否预测其分配表现；RQ2 模型在效率—公平权衡中呈现何种系统性偏好；RQ3 分配策略对输出约束与社会影响扰动是否稳健。
M. Materials & Methods（材料与方法）
- 仿真环境：LLM 作为 sovereign allocator，向异质性受助群体逐轮分配任务；每轮任务只可分配给一名受助者，受助者带有不同的能力参数与初始公开评分（取自 LLM Arena），形成长期（约 100 轮）动态博弈。
- 状态管理：采用滑动窗口，仅保留最近 3 轮历史，防止上下文爆炸；解码温度固定为 1，遵循各模型官方 API 默认设置。
- 奖励缓存：预先计算每个受助者在所有任务上的收益与成本并缓存，分配时直接匹配，避免反复调用受助者模型带来的高昂开销。
- 对照基线：随机分配、效率优先（从前 K 名高 ROI 者中选）、公平优先（选累计任务最少者）、混合策略（前 6 名轮换）。
- 被试模型：20 个前沿模型，覆盖 OpenAI（GPT-5-High、GPT-4o 系列）、Anthropic（Claude-4-Sonnet、Claude-4-Opus、Claude-4.1-Opus）、阿里（Qwen3-Max-preview、Qwen3-235B-A22B）、DeepSeek（V3、R1）、腾讯（HunYuan-TurboS）等。
- 扰动实验：①输出长度约束（vanilla / concise / extreme-short）；②社会影响话术（temptation、threat、identification、internalization 四类劝说策略）；③初始标签（profile）相关性分析。
R. Results（结果）
- 排行榜与聊天榜严重脱节：DeepSeek-V3-0324 聊天榜第 25，SWF 榜第 1（30.13，Fairness 0.594、Efficiency 53.89）；Claude-4.1-Opus 与 Gemini-2.5-Pro 聊天榜并列第 1，SWF 榜跌至第 13 与第 19；GPT-5-High 聊天榜第 2，SWF 榜第 20（17.97）。Kimi-K2-0711 在头部模型中公平度最高。
- 默认功利主义：多数模型持续把任务分配给高产出者，ROI 上升但 Gini 恶化；仅靠“前 50% ROI 中轮换”的混合启发式即可取得 0.534 的公平度，高于 20 个模型中的 14 个。
- 思考越少越功利：在 extreme-short 条件下，DeepSeek-V3 公平度由 0.59 降至 0.45，效率相应上升；Gemini-2.5-Pro 与 GPT-5-High 呈同向变化。
- 标签偏差：聊天榜头部模型的分配决策与受助者初始标签相关性更强，倾向把任务交给“简历漂亮”者而非实际高 ROI 者，导致整体福利下降。
- 社会影响脆弱性：四类劝说策略平均使公平度上升 1.38（temptation）、1.52（threat）分，但 SWF 总分平均变化为 −7.28 与 −6.26，即“看起来更公平”的分配反而损失了效率；DeepSeek-V3 在 temptation 下公平度 +4.70，但效率仅 +0.05。
| 模型 | SWF 得分 | SWF 排名 | Arena 排名 |
|---|---|---|---|
| DeepSeek-V3-0324 | 30.13 | 1 | 25 |
| DeepSeek-V3.1 | 29.04 | 2 | 8 |
| Kimi-K2-0711 | 28.48 | 3 | 8 |
| Claude-Sonnet-4 | 27.98 | 5 | 21 |
| GPT-4.1 | 27.59 | 6 | 14 |
| Gemini-2.5-Pro | 18.66 | 19 | 1 |
| GPT-5-High | 17.97 | 20 | 2 |
a / D. Discussion & Conclusion（讨论与结论）
- 理论意义：结果支持“分配能力是一种独立能力”的判断。通用对话评测奖励的是语言流畅度与知识覆盖，而分配任务要求跨期权衡、对不平等的敏感度以及对标签信息的抵抗，两者不可互相替代。
- 治理启示：把 LLM 部署为福利分配者前，至少需要（a）专门的 SWF 类基准测试，（b）对输出长度等工程约束做敏感性分析，（c）对标签偏差做审计，（d）保留人类复核与申诉通道。
- 局限：奖励缓存虽然降低成本，但削弱了受助者对分配的真实反应；受助者能力参数为设定值，未必反映真实人群异质性；约 100 轮的长期动态仍短于现实政策周期；社会影响话术由作者设计，覆盖度有限。
- 结论：当前 LLM 普遍表现出强功利偏好且易被扰动，不宜直接充当社会福利的最终裁决者；应把 SWF 类评测纳入模型上线前的治理流程。
🧠 IRMaD 思维导图
mindmap
root((大模型分福利))
I 引言
模型进入高风险决策
分配价值取向未知
首个分配基准
R 问题
RQ1 聊天能力可预测吗
RQ2 效率还是公平
RQ3 策略稳不稳
M 方法
近百轮分资源模拟
二十个前沿模型
四种启发式基线
SWF 等于公平乘效率
R 结果
DeepSeek 第一 30.13
GPT-5 倒数第二 17.97
混合基线胜过十四模型
短回答公平降到 0.45
a 讨论
会聊天不等于会分配
标签光环误导决策
劝说话术带偏分配
D 结论
需专门分配评测
部署前做公平审计
保留人类复核
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。