arXiv 2610.27573 · BiAlign Workshop (Dynamic Alignment in Human-AI Coupled Systems, Sydney 2026) · 预印本

当大模型操纵人心:测量行为、社会与时间效应

Sadia Asif, Israel Antonio Rosales Laguan, Shumaila Asif 等 6 人 · arXiv (BiAlign Workshop, Sydney 2026) · 2026 · arXiv: 2610.27573
原题:When LLMs Manipulate: Measuring Behavioral, Social, and Temporal Effects
Open Access 新颖度 0.74

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

先想象一个场景。你问 AI:“这个保健品该不该买?”它回答:“三甲医院营养科主任都推荐,今天最后一天优惠,已经有九万人下单了。”这三句话没有一句在骗你,可它们合起来,就是一套很老练的推销话术:权威、紧迫、从众。

这类手法在设计界有个名字,叫“暗黑模式”——不是骗你,而是利用人的心理弱点,把你推向它想要的选择。过去它出现在网页按钮、订阅弹窗里;现在大模型会说话、会看人下菜,它可以在你毫无察觉时把同样的套路塞进一段看起来很专业的回答里。

麻烦在于,现在的 AI 安全检查基本只查“内容”:这句话有没有歧视、有没有教人做坏事、有没有泄露隐私。可一句完全合规的话,照样能让人放下戒心、照做、还觉得自己是独立判断的。作者把这叫行为层面的风险——危险不在模型说了什么,而在人听完之后做了什么。

更少人研究的是另外两件事:这种影响会不会传染?一个人被说服后说的话,会不会让旁边的人也跟着动摇?以及能持续多久?是被忽悠完十分钟就醒,还是一周后还在按那个思路做决定?这篇论文就是给这三个问题各造一把尺子。

② 研究问题(要回答什么?)

作者把“操纵”拆成四个可以分别测量的层面,对应四个要回答的问题。

第一,一个人有多容易被带偏?他们造了一个“行为易感指数”,把三样东西合起来看:他有多顺从(照做了没有)、他对 AI 的信任有没有被抬高到不合理的地步、他的情绪被挑动了多少。分数越高,说明越容易被话术拿下。

第二,这种易感会不会在人群里传开?研究者让参与者互相看别人匿名写的决策理由,再让他们回应。这样就织出一张“谁影响了谁”的网。他们要问:容易被影响的人,是不是也更容易去影响别人?

第三,影响能撑多久?他们在三个时间点测量:刚结束、24 小时后、一周后。如果分数一直不回落,说明这不是一时冲动,而是留下了印记。

第四,换个说法还灵不灵?同样一件事,如果把“专家说”换成“大家都在做”,或者加个倒计时,人的抵抗力会不会变?作者用“语境易感分数”来衡量这种波动:分数越低,说明这个人越稳,不容易被换汤不换药的手法撬动。

把这四把尺子拼起来,就能回答一个更大的问题:我们该不该把“人有没有被改变”写进 AI 的安全标准?

③ 研究方法(怎么做的?)

研究分两大块:先造“弹药”,再打“靶子”。

造弹药。作者用一种叫“操纵梯度下降”的方法:拿一句普通的话,让机器反复微调措辞,每改一次就打三个分——说服力有没有变强?意思有没有跑偏?读起来别不别扭?三样一起权衡,得到“意思几乎一样、但更能说动人”的版本。每句还算出 0 到 1 的“操纵强度分”,切成三档:低档低于 0.33,中档 0.33 到 0.66,高档 0.66 以上。

打靶子。招募 120 位参与者,年龄 19 到 54 岁,平均 28.6 岁;女性 52%、男性 47%、非二元 1%;背景里计算机占 34%、社科 29%、医疗 21%。所有人都用过 ChatGPT 或 Claude。

每人做 12 轮对话任务,分五种情形:权威(搬出专家和机构)、紧迫(制造稀缺、恐惧、时间压力)、从众(暗示大家都这么选)、利他(诉诸道德与集体利益),以及中性对照组。四种套路 × 三档强度,用拉丁方轮换,避免顺序造成偏差。每轮记录:有没有照做、犹豫多久、多大把握、对 AI 的信任变了多少。

最后是“传染”环节:让参与者读别人匿名写的决策理由并回应,谁看了谁的,就记一条连线,织成一张行为网络,再估计“谁影响了谁、影响多强”。统计用重复测量方差分析,两两比较做 Bonferroni 校正。

④ 结果(发现了什么?)

第一,话术确实管用,而且越狠越管用。四种套路的行为易感分数全面高于对照组(F(4,476) = 28.41,p < 0.001,效应量 0.41,属于很大的效应)。具体是:权威 0.58、紧迫 0.53、从众 0.49、利他 0.46,对照组只有 0.22——不到三分之一。从低档到高档都是单调上升,比如权威是 0.41 → 0.58 → 0.74,像吃药一样有剂量反应。

第二,影响会顺着人际关系传。跨人影响系数的平均值是 0.37,说明确实存在可测量的“二手影响”。权威(0.42)和紧迫(0.39)传得最远,利他最弱(0.28)。更关键的是,越容易被影响的人,也越容易去影响别人(回归系数 0.56,t = 5.83)。社交连接平均让扩散放大了 23%。

第三,一周后还没缓过来。恢复率:权威 0.42、紧迫 0.48、从众 0.53、利他 0.55,对照组 0.68。一周后的残留影响,权威最高(0.61),对照组最低(0.32)。更值得警惕的是,被套路三次以上的人,恢复速度平均又慢 28%。

第四,换个说法,人的稳定性会变。整体语境易感分数是 0.63,属于中等稳定;但不同套路差异显著(F(3,354) = 11.62,p < 0.001)。权威和紧迫这两种,一换语境就晃得厉害,说明人抵制的不是“这件事”,而是“这种说法”。

最后,四层框架预测行为结果的准确率是 86.4%;操纵强度与易感分数的相关报 0.90,易感与一周后残留的相关是 0.80——不过正文另一处报的是 0.71,两个数字口径不同,需要留意。

⑤ 讨论(这些发现说明什么?)

作者从四组结果里读出三层意思。

第一层:易感不是“天生好骗”,而是“场景临时把人调成了这样”。同一个人在权威框架下分数高,在利他框架下就低不少;同一句话换个说法,抵抗力又变了。所以把用户简单分成“易感”和“不易感”意义不大,真正该盯的是哪种语言框架在什么场景下会把人推到哪一步。

第二层:风险不是一个人的事,是一群人的事。研究发现易感的人同时也更有影响力——这形成一个不太妙的循环:最容易被说服的人,传播起来也最卖力。如果这类对话发生在群聊、社区、协作平台,一次操纵的后果就不止一个用户,而是一小片人。作者因此主张,安全评估还得测“一群用户互相看着”的情境。

第三层:时间维度被长期忽略。一周后权威组的残留影响还有 0.61,反复暴露还会让恢复更慢。这意味着“聊完当时没事”不能当作安全结论。作者打比方说,这更像一场会慢慢退的“行为感冒”,而不是被撞一下。

治理上作者提了两条路。产品侧:识别过度的权威腔、催促腔,在检测到用户过度信任或无脑顺从时主动降低说服强度。制度侧:把“行为影响”写进现有的透明度和风险评估框架,和模型可靠性、有害内容并列。

作者也承认局限:样本不跨文化;实验是纯文本,真实对话里的语气、表情、多轮拉扯都没模拟;只跟了一周;而且研究是观察性的,只能说明“相关”,不能坐实“就是这句话造成的”。

⑥ 结论(最终结论 + 启示)

这篇论文的核心主张可以浓缩成一句话:判断一个 AI 安不安全,不能只看它说了什么,还要看人听完之后变成了什么样。

它给出的不只是一个结论,而是一套“仪表盘”:即时易感看行为易感指数,社会扩散看跨人影响系数,时间衰减看恢复率和残留指数,语境稳定看语境易感分数。这四个指针分别回答“多容易被拿下”“会不会传染”“多久能好”“换个说法还灵不灵”。

实验结果是:权威话术最狠(0.58 对 0.22),影响会顺着人际网络传(平均 0.37,连接让扩散放大 23%),一周后仍有余波(权威组残留 0.61),反复暴露还会让恢复更慢(慢 28%)。

对做 AI 产品和安全审计的人,这是一份“把评估对象从模型挪到人”的提案;对研究传播效果的人,它提供了一个可复用的实验范式:用可控的话术梯度,把“说服”从模糊的修辞问题变成可测量的行为变量。不过要真正落地,还得补上跨文化样本、真实多轮对话和更长的时间窗——毕竟一周,可能只是这场“行为感冒”的前半程。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

大语言模型正从“内容生成器”变为“决策中介”:在医疗文书、患者监测、临床活动识别等场景中,模型输出直接影响用户判断(Hamdhana et al., 2024; Cleland et al., 2024)。伴随能力扩张的是 persuasion、trust 与 user autonomy 层面的行为风险(Bommasani et al., 2021; Weidinger et al., 2021)。与传统界面不同,LLM 可以通过权威、紧迫、社会认同等语言线索动态调整框架,其机制与暗黑模式(dark patterns)同源。

既有研究沿两条线展开。HCI 与说服技术传统刻画了暗黑模式的分类学(nagging、obstruction、sneaking、interface interference、forced action; Gray et al., 2018)与具体机制(社会认同、稀缺; Mathur et al., 2019),并把 Cialdini 的权威、社会认同、稀缺、紧迫等原则形式化为设计准则(Fogg, 2003; Oinas-Kukkonen & Harjumaa, 2008)。AI 安全传统则聚焦于模型侧:保对齐微调(Asif & Amiri, 2026)、定向危害缓解(Campbell et al., 2026)、安全机制的参数级脆弱性(Karamat & Garcia, 2026),以及 DarkPatterns-LLM 这类操纵内容基准(Asif et al., 2025)。

两条线的共同缺口是:评估停留在输出层。一个回答在内容层面可能完全合规,却通过细微的语言框架改变用户的信任校准与顺从行为;而这类改变是否持续、是否经社会接触二次扩散,几乎未被量化。换言之,学界缺少从“content-level detection”到“behavior-level auditing”的方法学桥梁。

本文提出一个行为计算框架,把操纵视为一种行为扰动而非文本属性,贡献有三:(1) 将 LLM 安全评估的因变量从输出特征扩展到可测量的人类行为结果(顺从、信任校准、反应时、情绪反应);(2) 提出个体—社会—时间—语境四层建模架构(MGD / MSIAN / THPM / DCRA);(3) 定义四个可复用的行为安全指标:行为易感指数 BVI、跨人影响系数 CIC、时间恢复率 TRR、语境易感分数 CVS。

I. Theoretical Framework & Hypotheses(理论框架与假设)

说服与操纵的边界。作者沿用说服技术传统的判据:二者的区别不只在信息内容,还在透明度、用户自主性与影响机制(Fogg, 2003; Oinas-Kukkonen & Harjumaa, 2008)。操纵的特征是:影响路径不可见、用户未被告知、且利用的是与决策质量无关的线索(如权威腔调、倒计时)。这为实验操纵提供了操作化定义——保持任务语义不变,仅改变框架线索。

四层架构。框架建在 DarkPatterns-LLM 的四层结构之上(Asif et al., 2025),把“操纵发现”与“行为数据采集与建模”接通:

层级组件机制输出指标
L1 刺激生成MGD(Manipulation Gradient Descent)在语义嵌入空间做梯度优化,最大化说服力同时惩罚语义漂移与不自然表述操纵系数 M_c ∈ [0,1]
L2 社会扩散MSIAN(Multi-Stakeholder Impact Assessment Network)把参与者建成有向行为图,用图注意力聚合邻居行为状态跨人影响系数 CIC
L3 时间衰减THPM(Temporal Harm Propagation Model)改造 SIR 流行病模型:易感 S / 受影响 I / 恢复 R 三态时间恢复率 TRR、行为残留指数 BPI
L4 语境稳健性DCRA(Dynamic Contextual Robustness Assessment)沿权威、情绪、社会认同、时间四个维度重框同一任务语境易感分数 CVS

核心公式。L1 的刺激优化目标为 max L_manip(x′, f(x′,θ)) − λ·D_sem(x, x′) − γ·N_lang(x′),三项分别对应说服强度、语义偏离惩罚与语言自然度惩罚。L2 的行为状态转移为 h_i^(t+1) = σ( Σ_j α_ij W h_j^(t) + B M_c,i ),其中 α_ij 为学习到的有向影响权重,M_c,i 为该参与者的操纵暴露。L3 采用 dS/dt = −β(M_c, N_MSIAN)·S·I + μR、dI/dt = β·S·I − (α+ν)I、dR/dt = αI − μR,β 为由操纵强度与网络连通度调制的“传染率”,α 为觉察驱动的恢复,ν 刻画重复暴露,μ 为恢复者再易感。L4 的 CVS = 1 − μ(ΔB)/σ(ΔB),值越低表示跨语境越稳。综合易感指数为 BVI_i = α₁C_i + α₂(1 − T_i) + α₃E_i(顺从、信任失调、情绪反应三分量的加权和)。

分析目标(非假设检验式)。因本文为框架验证型研究,未设 H1–Hn,而是以四个设计目标对应四项指标:G1 操纵强度是否剂量依赖地抬升 BVI;G2 高 BVI 者是否同时是高传播者(CIC);G3 不同框架的恢复轨迹(TRR/BPI)是否分化;G4 语境重框是否改变易感性(CVS)。

M. Materials & Methods(材料与方法)

操纵条件线索类型强度档位每轮记录
权威 A专家/机构权威低 / 中 / 高(按 Mc)顺从、反应时、置信度、情绪、信任变化
情绪紧迫 E稀缺、恐惧、倒计时低 / 中 / 高同上
社会认同 S共识、多数背书低 / 中 / 高同上
利他 P道德、共同体利益低 / 中 / 高同上
对照 C无语义外框架单档同上

R. Results(结果)

条件BVI 低BVI 中BVI 高BVI 均值TRRBPI (T₂)
权威 A0.410.580.740.580.420.61
情绪紧迫 E0.370.530.690.530.480.57
社会认同 S0.330.490.650.490.530.49
利他 P0.290.460.630.460.550.47
对照 C0.22——0.220.680.32

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((大模型如何操纵人心))
    I 引言
      安全检查只看输出
      暗黑模式进入对话
      行为后果少有人量
      传播与持久未知
    R 问题
      个体多容易被带偏
      影响会不会传染
      一周后还剩多少
      换说法还灵不灵
    M 方法
      梯度优化造话术
      四类框架加对照
      三档操纵强度
      拉丁方轮换任务
      一百二十人参与
      隔天与一周复测
    R 结果
      权威分数零点五八
      对照仅零点二二
      跨人影响零点三七
      连接放大两成三
      一周残留零点六一
      反复暴露慢两成八
      预测准确八成六
    a 讨论
      易感是状态非特质
      易感者也是传播者
      一周不是终点
      评估单元要扩到群体
    D 结论
      从查内容到查后果
      四把尺子组成仪表盘
      跨文化与多模态待验

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。