GFlowRL：让分布匹配式强化学习第一次在大模型上稳定跑起来

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

强化学习已成为当代大语言模型后训练的定义性范式：o1、o3、DeepSeek-R1、Gemini 等最强推理系统均以 RL 为后训练管线的核心组件，该阶段的有效性直接决定模型在数学推理、竞赛编程、科学问题求解与智能体决策上的表现。随着模型规模扩大、推理链变长，RL 算法的选择已成为一阶架构决策。

然而主流方法（PPO、GRPO、OMD 及其变体）在本质上都是奖励最大化的：它们把概率质量集中到高奖励模式上，常常压缩解的多样性。在思维链推理中，多条有效解路径对泛化与稳健性至关重要，这构成一项结构性局限。现有缓解手段（熵奖励、自适应裁剪、词元级探索）把多样性当作事后的正则项处理，而核心的奖励最大化目标未被触动。

生成流网络（GFlowNets）提供了根本不同的范式：不最大化期望奖励，而是学习按轨迹奖励成比例采样的策略。用于 LLM 后训练时，这一分布匹配视角直接针对模式塌缩，鼓励覆盖全部高奖励推理路径而非集中于其一。FOR 与 FlowRL 是把该思想引入 LLM 推理的最早工作，二者均采用轨迹平衡（TB）目标并学习一个对配分函数 Z_φ(x) 的近似（FlowRL 用提示最终隐状态上的三层 MLP，FOR 用一个跨提示共享的标量）。

扩展难题：即便在稠密骨干上，训练也须在短优化周期、长推理 rollout、大预训练策略与紧张的分布式预算下进行。此时与策略联合训练一个新初始化的配分模型随规模增长而愈发脆弱——梯度尖峰更频繁，辅助模块带来优化器与同步开销，且这个学得的归一化器始终落后于远比它庞大的预训练策略。MoE 路由的非确定性与采样-训练之间的隐式离策略失配会进一步放大问题，但作者明确指出：MoE 应被视为一个更普遍的扩展瓶颈的最严苛压力测试，而非病根本身。

I. Theoretical Framework & Hypotheses（理论框架与假设）

把思维链推理形式化为条件生成任务：给定提示 x，策略 π_θ(y|x) 自回归生成含中间推理与最终答案的回答 y，验证器给出标量奖励 r(x,y)（数学为二元正确性，代码为单元测试通过率）。

由于 Z(x) 不可解，直接最小化该 KL 不可行，遂有强制同一不动点、并把 Z 作为副产品学习的替代目标。轨迹平衡（TB）损失为：

L_TB(θ, φ; x, y) = ( log Z_φ(x) + log[ π_θ(y|x) / π_ref(y|x) ] − β·r(x,y) )²

本文的核心理论洞察：检视 TB 损失可知，在最优处，对 p* 支撑集中的每一个 y，log Z(x) 都等于 β·r(x,y) + log π_ref(y|x) − log π_θ(y|x)。既然每条轨迹都给出同一个隐式目标，那么它就可以从已有的 rollout 组中被直接估计，而无需学习。这一思路承接 Zhang et al. (2023) 的对数配分方差损失，但作者的处理不同：后者最小化共享条件的轨迹间目标方差（作者在附录中报告该损失在本设定下相对骨干几无改善），本文改取其批内均值，作为一个停梯度基线直接接入策略梯度更新——这与 LLM 后训练中 rollout 组本就是计算单元的事实天然契合。

M. Materials & Methods（材料与方法）

• 诊断一：配分函数是否携带信息？把 log Z_φ(x) 整体移除，代之以每步独立采样的 log Z ~ N(μ=0.5, σ=1)（该分布匹配标准 FlowRL 下 log Z_φ(x) 的经验分布），其余设置全部固定。若它是有信息量的提示条件归一化器，随机化应导致显著下降。
• 诊断二：它是否良性？比较 FlowRL、GRPO 与 GFlowRL 的梯度范数统计量（最小值 / 最大值 / 均值 / 中位数 / 标准差 / 超过 10⁶ 的爆炸步数）。FlowRL 的训练日志取自其公开的 wandb 运行记录。
• 诊断三：合成靶：构造一个由三个中心不同的高斯混合而成的100 维目标分布，比较各方法能否捕捉多峰结构；该维度对应 LLM 后训练的数百步量级，用以判断失败是否仅由规模造成。
• 核心估计量（批内蒙特卡洛）：对每个提示 x，GRPO 式训练本已从 rollout 策略采样一组 G 条回答。定义 Z_t(x) := (1/G) Σᵢ ( β·r(x, y⁽ⁱ⁾) + log π_ref(y⁽ⁱ⁾|x) − log π_old(y⁽ⁱ⁾|x) )，即把逐样本的 TB 目标在当前 rollout 组上取平均。
• GFlowRL 残差：Δ⁽ⁱ⁾(θ) = sg[ Z_t(x) ] + (1/|y⁽ⁱ⁾|)·log[ π_θ(y⁽ⁱ⁾|x) / π_ref(y⁽ⁱ⁾|x) ] − β·r(x, y⁽ⁱ⁾)。Z_t(x) 仅经由停梯度算子 sg 进入，只作为把残差居中的基线、自身不携带梯度，从而彻底消除对可学习配分函数的辅助优化。除以回答长度 |y⁽ⁱ⁾| 做归一化，防止动辄数千词元的长序列主导损失。
• 稳定器一：非对称流间隙裁剪。朴素的平方残差目标仍易受残差极大的离群 rollout 影响。作者把 Δ⁽ⁱ⁾ 分解为在 rollout 策略处求值的流间隙 g⁽ⁱ⁾ := sg[Z_t(x)] + (1/|y⁽ⁱ⁾|)·log[π_old/π_ref] − β·r，加上一个携带梯度的策略更新项 (1/|y⁽ⁱ⁾|)·log(π_θ/π_old)；随后按信赖域方法的思路非对称裁剪流间隙：g̃⁽ⁱ⁾ = clip(g⁽ⁱ⁾, −ε_low, +ε_high)。
• 稳定器二：重要性采样修正，用于校正 rollout 与 trainer 之间的策略漂移。
• 工程收益：Z_t(x) 的尺度自动与 r/β 及 log π_θ 相称，从而消除学习式 Z_φ 带来的梯度爆炸；且它不需要额外参数、不需要独立学习率、不需要分布式训练中的跨模块同步。整套算法使用与 GRPO 几乎相同的基础设施。
• 实验设置：数学——训练 Qwen2.5-7B / 32B，评测 AIME2024 / AIME2025 / AMC2023 / MATH-500 / Minerva / Olympiad 六项，报告 Avg@16；代码——训练 DeepSeek-R1-Distill-Qwen-7B / 14B，评测 LiveCodeBench、Codeforces（Rating 与百分位）、HumanEval+；安全——用 SEMA 框架在 AdvBench 与 HarmBench 上报告 ASR@1；MoE 扩展——Qwen3-30B-A3B 与 Qwen3-235B-A22B（最大回答长度 32K 词元）。
• 基线：分布匹配侧为 FlowRL；奖励最大化侧为 PPO、GRPO / GRPO+、REINFORCE++。实现基于 verl / deepcoder / FlowRL / SEMA，除特别说明外沿用其默认训练配置。

R. Results（结果）

1. 诊断结果（Qwen2.5-7B，六项数学基准均值）

• 把学得的 log Z_φ(x) 换成纯高斯噪声，平均性能不降反微升——36.19 vs. 35.63。这与“它是有信息量的提示条件归一化器”的假设直接矛盾：若成立，随机化应导致骤降。作者据此判定它不过是一个带噪的标量偏置，FlowRL 的增益无法归因于 TB 归一化。
• 合成靶验证：在三高斯混合的 100 维目标上，FlowRL 与其随机版本行为几乎完全一致，都产出接近均匀、未能捕捉多峰结构的样本——说明失败并非仅由规模造成。

2. 稠密模型 · 数学（Qwen2.5-7B，Avg@16）

较 GRPO +8.44，较 FlowRL +5.29。

3. 稠密模型 · 代码（DeepSeek-R1-Distill-Qwen-7B）

两种 GFlowNet 式方法相对 GRPO 在 Codeforces 上拉开 200-330 Elo 的优势；在二者都收敛的每一项基准上，GFlowRL 均超过 FlowRL。

4. 14B 规模与前沿模型对照：GFlowRL 达 2048 Codeforces Elo，超 DeepCoder-14B +112（此前该规模的开源 SOTA，且是带针对性改进的强 GRPO 配方）、超 FlowRL-14B +144、超 OpenAI o1（1891）+157，距 o3-mini（2073）仅差 25 分——此前该区间仅由闭源前沿系统触及。

5. 对抗性红队（奖励更稀疏、更嘈杂；ASR@1）——FlowRL 无法收敛，产不出可用的攻击模型；GFlowRL 稳定训练：

较 SEMA 分别 +2.4 与 +4.5 点。作者的结论是：移除高方差的 log Z_φ 恢复了稳定优化，把数学 / 代码上的持平变成严格的能力优势——GFlowRL 覆盖了 GFlowNet 式与 GRPO/PPO 式训练各自可行任务的并集。

6. MoE 扩展（32K 最大回答长度）——FlowRL 在两个骨干的所有基准上全部发散，产不出可用检查点，作者归因于稀疏路由下其辅助配分网络的不稳定：

• 30B-A3B 在代码上达 1999 Elo，仅用 3B 激活参数，超 o1 +108，距 o3-mini 仅 74 分。
• 235B-A22B 未做任何修改，直接复用 30B 的超参数、数据与调度；尽管参数量增至 7.8 倍，训练端到端保持稳定，较骨干 +2.06、较 GRPO +0.95，且在每项基准上均有增益。因 GPU 受限仅训练 30 步（GRPO 为 100 步，约 3 倍更少），停止时性能尚未进入平台期。

7. 消融（Qwen2.5-7B，100 步）：逆温度 β ∈ {1, 5, 8, 10, 15} 下平均准确率呈倒 U 形，在 β = 8 时达到峰值 38.2，全范围内波动在 0.5 点以内，说明方法对该超参数不敏感。多样性指标：GRPO 1.21、PPO 1.15、FlowRL 2.64、GFlowRL 3.93——分布匹配路线所承诺的多样性收益，在移除不稳定项后才充分兑现。

a / D. Discussion & Conclusion（讨论与结论）

• 根因诊断：学习周期错配（learning-horizon mismatch）。联合优化的两个部件之间存在根本的不对称——策略 π_θ 由预训练检查点初始化，数十亿参数已编码来自数万亿词元的丰富语言与数学先验，后训练只需精炼这一强先验，通常仅跑数百步梯度更新；而 Z_φ 是全新随机初始化的网络（如三层 MLP），却必须在同一短窗口内从零学会一个复杂的、提示条件的量。其后果是：在训练的大部分时间里，log Z_φ 实际上只是提示的一个随机函数，使 TB 目标被方差而非奖励信号主导。这同时解释了两项诊断结果——把它换成噪声无影响（它本就在充当噪声），以及它带来的无界贡献引发梯度爆炸。
• 三项设计后果：（i）梯度范数回到与 GRPO 同一量级，恢复训练稳定性；（ii）辅助网络及其在分布式训练中的优化器状态被整体移除；（iii）算法使用与 GRPO 几乎相同的基础设施，同时保留轨迹平衡的奖励分布匹配语义与不动点。
• 与既有方差损失路线的区别：Zhang et al. (2023) 的对数配分方差损失同样利用 TB 最优点性质绕开学习 log Z，但其做法是最小化共享条件下各轨迹目标的方差；作者报告该损失在本设定下相对骨干几无改善。GFlowRL 改取批内均值作为停梯度基线直接接入策略梯度，更契合“rollout 组本就是 LLM 后训练的计算单元”这一事实。
• 能力并集的意义：在数学与代码上，GFlowRL 与 FlowRL 都大幅优于 PPO / GRPO；但在奖励更嘈杂稀疏的红队场景与MoE 稀疏路由场景中，只有 GFlowRL 能训练。作者据此主张，精简后的估计量移除的是一个根本性的扩展瓶颈而非某个工程细节——最强的支持证据是同一套配方原封不动地从 30B 迁移到 235B 仍然有效。
• MoE 的定位：作者反复强调 MoE 的非确定性路由与隐式离策略失配只是放大器与最严苛的压力测试，而非病根；病根是可学习配分函数与预训练策略之间的学习周期错配。
• 历史定位：就作者所知，GFlowRL 是首个能在稠密与稀疏两类架构上稳定扩展的 GFlowNet 式 RL 算法，也是首个在 235B MoE 上稳定训练的同类方法。代码将在 github.com/microsoft/gflowrl 开源。
• 可注意的边界：235B 实验因 GPU 约束只训练了 30 步，其增益虽在每项基准上成立但幅度较小（+0.95 相对 GRPO），且作者明言训练尚未进入平台期——该规模上的最终优势有待更充分的训练验证。红队实验涉及攻击成功率指标，作者将其定位为奖励稀疏且嘈杂的压力测试场景。