大模型的仁善偏差与校准

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

大语言模型正在从对话工具变成社会科学的数据生产工具。民意调查用合成样本补足难以触达的群体，调查实验用模型代替真人做预试，基于主体的社会仿真则用模型生成个体的态度与行为规则。这条路径成立的前提可概括为条件化保真：给定一个真实受访者的人口学画像，模型在该题目上的回答分布应当逼近同类真人的回答分布。既有文献分别报告过模型的意识形态偏向、微调对争议议题的改变、人设条件化只能部分复现群体分布，以及模型会迎合用户暗示；但缺少一张按价值类别展开的偏移地图——哪些类别受损、随规模如何变化、能否被提示层手段消除、是均值偏移还是范围收缩、以及能否在不重训的前提下校正。

本文把这种同向偏移命名为“仁善偏差”，并直接把它接到公共舆论测量的效度问题上。若替代受访者的模型系统性偏向更善良、更安全、更被社会认可的答案，合成民意的边际分布、方差、群体差异乃至尾部人群的可见度都会失真，而研究者只查看模型输出无法察觉。作者的核心判断是：对齐训练优化的“有用、无害、被认可”与问卷中价值题目的评分方向高度重合，因此安全训练在提升模型可用性的同时，也在移动其价值表征的分布。

I. Theoretical Framework & Hypotheses（理论框架与假设）

文章把“仁善”拆成六条可分的心理线索，而不是一个笼统的好人倾向：亲社会动机（PSB）、社会赞许性自我呈现（SDB）、伤害厌恶（HAB）、善意解读（BIB）、情绪柔化（ESB）与公平乐观（FOB）。这样拆分能定位对齐训练究竟压到了哪一根轴：SDB、PSB、HAB 与“无害、友善”的对齐目标最贴近，BIB、ESB、FOB 更多涉及解释风格与风险判断，受安全训练直接约束较弱。

由此得到一组可检验命题，同时构成对“偏差只是解码随机性、提示语气或能力差异”的排除策略。

M. Materials & Methods（材料与方法）

仿真类型定位。本文不属于时间步进式的 ABM、系统动力学（SD）或离散事件仿真（DES）：没有状态转移规则、没有时间步长、也没有反馈回路，而是在单一时间截面上对真实受访者做一次作答模拟。更准确的定位是 LLM 代理的截面式调查微仿真（silicon sampling）。在 ABM 流水线中它对应个体态度生成层，其输出的选项概率质量函数可直接作为 agent 态度分布的输入，因此本文测到的偏差会原样传入下游社会仿真。

刺激库。题目取自四套公开数据：美国全国选举研究（ANES）、综合社会调查（GSS）、世界价值观调查（WVS）与一项跨文化前景理论重复实验（PT，OSF 公开）。流程为格式感知解析器抽取文本、再由 LLM 抽成结构化题目；随后用 LLM 把矩阵题、共享前导等复合结构改写为可独立作答的自然问句，剥离顺序线索与原问卷语境。最终保留 406 道题，覆盖文化、政治、法律、经济四域与六个偏差类别。

标注。三级级联质检：LLM 预筛（归入空类的题目直接剔除）→ 资深领域专家逐题二元复核 → 多名受训博士生在盲态下独立二元核验并按多数共识定标，只有同时通过两道门的题目进入基准。

作答模拟与指标。对每套数据抽取真实受访者，把社会经济属性编码为画像向量并条件化模型作答，聚合为合成概率质量函数 F，与真人经验分布 G 逐题对照。模型池为 23 个主流模型（9 闭源、14 开源），均在指令微调设置下评测。BTB 为按选项仁善程度加权的分布差异，正值为向仁善端偏移；BWR 为逐题胜率，更仁善记 1、持平记 0.5、更不仁善记 0，基准 0.5。

R. Results（结果）

模型层。表 1 中 23 个模型 × 6 类共 138 个 BTB 单元格，103 个为正（74.6%）；138 个 BWR 中 93 个高于 0.5（67.4%）；平均 BTB 0.027、BWR 0.526。偏差集中于社会赞许与伤害厌恶，情绪柔化近零，分类均值见下表。

规模、阶段与输入层。Qwen3 从 0.6B 到 32B，平均 BTB 由近基线升至明显正值，胜率由近随机升至显著高于 0.5；Qwen2.5 同向。思考模式使三个可切换模型的逐题 BTB 下降但留有正残差；MMLU-Pro 与 BTB 二次拟合 R²=0.16。同尺寸基座与指令微调对照显示微调在 1.5B、7B、14B、32B 抬高 BTB（32B 最大），3B 例外，偏差主要进入后训练。英中改写不翻转符号；直接作答 > 角色扮演 > 预测但均为正；恶意人设只能压低 FOB、ESB、BIB，无法把 SDB、PSB、HAB 压到 0.5 以下。

输出层与校准。对比校准以中性人设估计默认先验，按 p_cal ∝ p_persona / p_neutral^α 归一：α≈0.5 时六类收拢至零附近，α=1 过冲。自我反思仅方向性回收；温度扫描下各类 BTB 变化在 ±0.01 内，偏差位于分布中部。

a / D. Discussion & Conclusion（讨论与结论）

偏差的分布特征把来源指向后训练。温度对类别 BTB 的影响不超过 ±0.01；换语言或框架只改幅度不改方向；能力的解释力有限（R²=0.16）；内部思考只能削弱不能消除。Qwen2.5 的同尺寸对照则直接把来源钉在指令微调：五个尺寸中有四个在微调后 BTB 上升，且 32B 跳升最大。作者据此提出，对齐不只是把预训练模型打磨得更合意，而是在移动其价值表征的分布。

这对公共舆论测量与基于主体的社会仿真有直接后果。合成样本会在社会赞许、亲社会、伤害厌恶三类题目上高估仁善端、低估另一端，并压缩真实调查本有的尾部方差；由于偏差能穿过人设条件化、忠实的角色扮演指令、降温、邀请反思等研究者最先尝试的补救，现成用法产生的分布不仅在均值上偏，也在范围上偏。若合成数据再被用于训练下一代模型，还会形成自我强化的反馈回路。可操作的对策是分布层面的：对比校准只需少量下一词概率，α≈0.5 即可把六类拉回人类基线附近的窄带，α 继续增大会过冲，因而强度本身是一个需要标定的参数。

作者列出的边界包括：数据多来自美国或全球调查（ANES、GSS 为美国样本，WVS 区域权重不均），向其他价值体系的外推未定；只测英文与中文；题目均为有序选择题，自由作答下偏差可能通过措辞或回避话题表现；闭源对齐配方不公开，只能定位到后训练而无法归因到 RLHF、DPO 或 SFT 的哪一环；校准依赖逐词概率，并非所有 API 都开放。对公共管理而言，这意味着用模型生成民意、预判政策态度或填充仿真 agent 时，应把仁善偏差当作已知测量误差来校正与报告，而不是当作随机噪声。