🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
现在的聊天机器人不只会说话，还能替人动手：填表、付款、发消息、改日程。干活之前，它常要先读一条别人转来的通知，比如“学费今天下午五点前必须补交”“明天起改到另一个校区上课”。要是这条通知是假的，机器人一照做，钱就付出去了，或者人跑错了地方。
过去检查机器人靠不靠谱，多半是问它一句：“你觉得这条消息可信吗？”它打个分，研究者记下来就算完事。可你想想，一个人嘴上说“这像骗子”，手却已经把钱包递出去了——说和做，本来就是两回事。机器人会不会也这样？这篇论文就是要把这条缝拆开来看。
这件事现在变得更要紧。机器人已经从“聊天”走到“办事”，错误信息不再只是让人误会一场，而是能直接变成一次付款、一次泄密、一次白跑。所以光看它会不会说“这是假的”已经不够，还得看它会不会照样按下那个按钮。而这件事又很难用肉眼观察：你得把话筒和手同时盯住，才知道它心里怎么想、手上怎么做。
② 研究问题（要回答什么？）
作者把问题拆成三层，一层比一层靠近“真会出事”的地方。
第一层：能不能分辨？给模型看两条消息，一条是编的，一条是真的，它打的分会不会拉开差距？跟它面对旧新闻里已被证伪的谣言时相比，差距是大还是小？
第二层：说了不信，会不会还做？这是全文的核心。让同一个模型先给这条通知打分，再让它用工具去办这件事。如果它打了很低的信任分，却还是把钱转出去，那就说明“嘴上不信”和“手上不动”是两套系统。
第三层：拦得住吗？研究者试了三种办法：事前提醒一句“小心假消息”、给它看几个骗术例子（也叫预驳）、以及拿假通知去专门训练模型。哪种能真的减少有害操作？代价又是什么——会不会连正常活儿也不敢干了？这三个问题必须一起回答，因为“少干坏事”和“多干正事”往往是同一根杠杆的两头。这也意味着，研究者必须同时造出真假两种通知，否则只看见防住了什么，看不见误伤了多少。
③ 研究方法（怎么做的？）
做法可以想成一场“模拟办公室”。桌上摆着四个工具：交表格、付钱、发消息、排日程。机器人读到的每条通知，背后都配了一个真假成对的版本——同一家虚构机构，一条是“今天五点截止，请立刻付款”，另一条是“活动改到周五，请更新日程”。假的那条一共 196 条，真的那条一一对应。
先让五个模型各看一遍，给通知打一个 1 到 7 分的可信分；紧接着在同一次对话里把用户请求和工具摆上来，看它到底调不调用。只要它发出一个内容完整、真能把钱转走或把密码交出去的操作，就算“有害执行”；对真实通知办对了事，就算“正常完成”。
研究者还加了几个对照：有的版本干脆不给打分这一步，直接让它办事；有的在通知里塞进明显的诈骗话术；有的先说一句“当心假消息”；有的给它看几个骗局案例再驳斥一遍；还有的拿 249 条假通知去专门训练模型，让它学会拒绝。每种情况都拿同样的真实通知做陪跑，看正常活儿有没有被误伤。
④ 结果（发现了什么？）
最扎眼的一条：说不信，照样做。在模型自己打了 3 分及以下（明确表示不可信）的通知里，五个模型仍然照办的比例分别是 六成三、七成三、九成九、六成七、两成七。也就是说，最保守的那个也还有两成七，最激进的几乎来者不拒。
打分这一步本身就在挡事。把打分环节拿掉，有害执行平均上升 十五个百分点。尤其是“交密码、付钱”这类明显像骗局的通知，涨了 27 个百分点；而“改时间、换地点”这类后勤通知只涨 7 个百分点。
提醒有用，但只有一句提醒最有用。事前那句预警让五个模型里的四个明显收敛，比如某款商业模型从两成九降到百分之七，另一款从七成五降到五成三。但代价也实在：同一款商业模型对真实通知的正常完成率，从八成九掉到四成八，等于一半的正常活儿也不敢干了。
看例子学骗术，并没有更好。两种“预驳”都没能超过那句简单提醒。专门训练效果最强：在“先打分”的条件下，有害执行从七成八降到两成七，另一款从八成七降到一成半；可后一款的正常完成率也从九成九掉到八成四。
⑤ 讨论（这些发现说明什么？）
作者最想说的是：怎么测，会影响测出什么。让模型先打个分，本身就像给它提了个醒，于是“先打分再办事”的评测会显得比真实情况更安全。如果真实产品里没人问它“你信不信”，那这份安全感就是虚的。这也是为什么拿掉打分后，数字会一下子涨上去。
第二层意思是安全与可用在打架。一句“小心假消息”能让模型少上当，但它分不清哪条该防、哪条该办，于是索性都慢半拍、都少动手。对用户来说，少转一笔被骗的钱是好事，少办一件该办的事就是麻烦。所以只看“有害率下降”会高估防御的价值，必须同时看“正常事办成率”。
第三层是能推广到哪。实验里的工具是模拟的，场景是虚构的，一次只取一个回答；真实世界里工具更多、对话更长、骗子还会改招。作者自己承认，这些结论说明的是“在这个受控环境里会这样”，不能直接等同于真人会被骗，也不能保证换成别的语言、别的行业还成立。训练那一部分只做了两款模型、一套固定工具，跑几次结果还会飘，更说明它是一条有希望的路，而不是现成答案。
⑥ 结论（最终结论 + 启示）
一句话总结：模型说“不可信”，不等于它不会做。在受控的工具调用实验里，它在自己判为不可信的通知上仍然照做的比例，从两成七一直高到九成九；而让它先打个分，这个动作本身就把有害率压低了十五个百分点。
防御这边，一句简单的预警是性价比最高的：五个模型里四个见效，但会顺带砍掉一部分正常任务。拿假通知做专门训练，保护力更强，代价是有的模型正常完成率明显下滑，而且一旦没人先问它“信不信”，保护就变弱。
所以作者主张：以后评价一个模型抗不抗骗，得同时看两件事——它有没有干坏事，它有没有把该干的事干成；还得说清楚是在什么提问方式下测的。对做产品的人，这话很直白：别把“它会说这是假的”当成安全证书。
还有一句提醒是给研究者的：下一次看到某模型“九成能识破谣言”的数字，先问一句——测试时是不是先让它打了分，是不是还让它顺手把事办了。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
工具调用型 LLM 正从“生成文本”转向“执行动作”，虚假的截止日期、缴费与办事通知因此获得直接造成损失的通道。既有研究显示，模型会在具备相关事实知识时仍强化虚假前提（Guo et al., 2025），也会在识别风险后执行有害操作（Tang et al., 2025; Roy et al., 2026）；但多数工作以表达性判断或文本回复为因变量，缺少在同一信息上对“评分—行动”链条的直接测量。
本文的贡献有三。其一，将可信度评分与随后的模拟工具调用置于同一会话，操作化“信念—行动缺口”，并用 196 条显式虚假通知及其真实对照同时测量有害执行与正当完成。其二，通过 no-rating 条件证明评分环节本身即构成干预，从而质疑 rate-then-act 评测范式的效度。其三，以匹配真实请求计量预警、预驳与监督微调的效用代价，区分“选择性保护”与“一概不信任”。研究覆盖可信度辨别（RQ1）、信念—行动一致性（RQ2）与行为缓解（RQ3）三个层次，并以匹配真实请求贯穿始终。
与既有工作相比，本文不把“识别出假消息”当作终点，而把它当作一个可能失效的中介变量：即便辨别力提升，若行动阈值不变，用户面临的风险也不会下降。
I. Theoretical Framework & Hypotheses（理论框架与假设）
框架把“信”与“做”视为可分离的两个因变量，并以信号检测论把“辨别力”与“反应偏向”拆开：前者用 ROC AUC，后者用判定标准 c。若干预只推高 c（更普遍地怀疑）而不提升 AUC，则属泛化不信任而非真正的辨别改善。接种理论进一步给出预期：预先警示与弱化范例应增强对后续误导的抵抗力，但既有文献多以自陈信念、分享意愿或文本判断为结局，未检验其能否改变工具层面的动作；本文因此把“辨别改善是否转化为行为保护”作为 RQ3 的核心检验，并以信号检测指标区分机制。
| 编号 | 研究问题 | 对应理论/文献 |
|---|---|---|
| RQ1 | 模型能否区分生成式误导内容与真实信息，与档案库中已证伪谣言相比如何 | 错误信息辨别；生成—判别流水线 |
| RQ2 | 表达性低可信度评分能否约束随后的有害工具调用 | 信念—行动缺口；智能体安全 |
| RQ3 | 预警、预驳与微调能否把辨别改善转化为行为保护，代价为何 | 接种理论（McGuire & Papageorgis, 1961）；信号检测论 |
关键理论预期是：接种类干预可能只改变表达的怀疑程度，而不改变行动阈值；因此必须同时报告 AUC、c、有害执行率与正当完成率四项指标。
M. Materials & Methods（材料与方法）
被试模型。行为实验覆盖五个受害模型，另在 RQ1 生成语料辨别中加测 GPT-OSS-20B，GPT-4o-mini 兼任生成判别器与接种范例生成器（其评分不作为独立受害评估）。
| 模型 | 参数/形态 | 参与环节 |
|---|---|---|
| LLaMA-3.1-8B-Instruct | 8B 开源 | RQ1–RQ3，含 SFT |
| Gemma-2-9B-IT | 9B 开源 | RQ2–RQ3，含 SFT |
| Qwen3-14B | 14B 开源 | RQ2–RQ3 |
| Gemma-2-27B-IT | 27B 开源 | RQ1–RQ3 |
| Gemini-3.6-Flash | 闭源 API | RQ2–RQ3 |
- 刺激。生成—判别流水线以 GPT-4o、GPT-4o-mini、LLaMA-3.3-70B-Instruct、Qwen2.5-72B-Instruct 产出 10,794 条候选，判别器按可信度≥0.60 且可分享接受 8,201 条（75.98%）。因接受项 94.1% 无第二人称、10,794 条中无一含具体指令，行为实验另生成 980 条读者指向通知，最终保留 196 条显式虚假通知（79 条凭证/付款、117 条后勤）及同一虚构机构的真实对照；真实世界侧另有 104 条事实核查攻击与 100 条短信钓鱼，合计 204 条。
- 协议。rating-first：先七点评分，再于同一会话给出用户请求与四个模拟工具（提交表单、付款、发消息、建日程）。共 15,170 次试验，item 配对 bootstrap，Holm 校正；每条件每条目采样一次回答。
- 因变量。有害执行＝发出载有指定有害内容的实质完整工具调用；正当执行＝对匹配真实通知的正确调用；并以评分≤3 条件下的执行率操作化信念—行动缺口。
- 操纵与干预。no-rating、length control、forewarning、prebunk（报告体/指令体范例＋驳斥）、reminder（复述先前评分）；SFT 用 249 条假通知配统一拒绝目标、249 条真实通知配正确动作，仅训练回复、只更新附加小权重，两轮、三个随机种子，对照仅用真实样本。
R. Results（结果）
RQ1 辨别。生成语料上，真实减误导的可信度差仅 +0.38、+0.61、+0.62；档案库上则达 +2.18、+2.09、+2.43，同一模型高出 1.80 与 1.48 分。剔除引语、消息来源与政治人物姓名后差距基本不变（+2.22/+2.07/+2.43，278 条）。但对 150 条接受生成的审计发现 114 条为真、28 条不可核实、8 条误导、0 条可证伪（95% Wilson 上界 2.5%），故该差异反映刺激群体差异而非虚假检测能力。
RQ2 信念—行动缺口。无干预时，在自评≤3 的通知上仍执行的比例为 63%、73%、99%、67%、27%。可信度每升 1 分，四个模型的执行几率比为 2.3–16.9（均 p<.001）。后勤类通知尤为突出：四个开源模型执行 93%–99%，组内可信度与执行无显著关联（均 p>.14）；Gemini 拒绝全部凭证/付款攻击，却执行 48% 的后勤通知（均分 1.70）。去掉评分步使有害执行平均升 15 个百分点（95% CI [13,18]），凭证/付款 +27、后勤 +7。
| 模型 | 无干预 rated≤3 | Forewarning | 无评分 | 正当执行 基线→预警 |
|---|---|---|---|---|
| LLaMA-3.1-8B | .63 | .53 | .98 | .96→.78 |
| Gemma-2-9B | .73 | .79 | .91 | .99→.97 |
| Qwen3-14B | .99 | .97 | .99 | 1.00→1.00 |
| Gemma-2-27B | .67 | .52 | .97 | .99→.92 |
| Gemini-3.6-Flash | .27 | .07 | .48 | .89→.48 |
RQ3 缓解。相对长度对照，预警使四/五模型有害执行降 8–21 个百分点（p_Holm<.001），Qwen3-14B 仅降 2 点（p=.19）；两种预驳在任何模型上均未胜过预警。三种干预都改善行动通知上的辨别（ΔAUC +0.02 至 +0.20，p≤.002），但预驳对表达信念的压低大于对行为的压低（合并差 −0.037、−0.073）。SFT 在 rating-first 下把档案攻击的有害执行从 .775/.868（未训练）与 .972/.987（对照训练）降至 .273/.155，相对对照降幅 .699（[.654,.743]）与 .832（[.789,.873]）；正当执行 .995→.966（LLaMA）、.993→.839（Gemma）。无评分时降幅缩至 .270 与 .549，且 LLaMA 的 run 级区间 [−.623,.084] 含零。
a / D. Discussion & Conclusion（讨论与结论）
- 评测协议效应。评分环节使有害执行平均低 15 个百分点，说明 rate-then-act 设计测到的是“被提醒后的易感性”，而非无提示条件下的默认行为。任何以表达性判断为前置的智能体安全结论都应报告该协议敏感性。
- 信念与行动的分离。四/五模型的可信度显著预测执行，却无人能靠“不信”止住动作；加入可辨识诈骗线索使可信度降 0.96 分，执行仅降 4.8 个百分点，重写后自评 1–2 分的通知仍有 64.6% 被执行。表达性怀疑与行为约束是两个可分离的因变量。
- 安全—效用权衡。预警的收益与代价同源：Gemini 有害率 29%→7%，正当完成率 89%→48%；SFT 在 Gemma 上把有害率压到 .155，却把正当完成率从 .993 拉到 .839。仅报告有害率会系统性高估防御价值。
- 训练优于提示但非通解。SFT 在两个模型上均强于报告体预驳（.273 vs .564；.155 vs .853），但仅覆盖两模型、固定工具集，且未评估通用能力；无评分条件下的保护不稳，提示其可能部分依赖评分线索。
- 推广边界。模拟工具、单次采样、虚构机构、英语环境；后勤与凭证场景在主题与损失类型上不可比，组间差异只能描述。作者呼吁在陌生工具、长程交互与自适应攻击下复测。
🧠 IRMaD 思维导图
mindmap
root((可信度不等于行动))
I 引言
假通知触发付款
说与做是两回事
智能体安全新缺口
R 研究问题
RQ1 可信度辨别
RQ2 信念行动缺口
RQ3 行为缓解
评分本身即干预
M 方法
五个模型
196 对真假通知
204 条真实攻击
七点量表加模拟工具
预警 预驳 微调
R 结果
不可信仍执行 27-99
去掉打分加 15 点
预警四胜一负
微调降至一成半
a 讨论
评测协议改变行为
安全与可用此消彼长
辨别提升不等于安全
D 结论
害处与正常任务同测
预警只是部分保护
跨工具跨语言待验
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。