MiMo-V2.6：把强化学习规模化，走向模型自我改进

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

基础模型的竞争重心已从预训练数据堆叠转向后训练算力堆叠。递归自我改进（RSI）的设想要求模型在可持续探索的交互环境中反复获得多步轨迹与反馈，而这条路径的两端——足够强的基座与足够大的 RL 基础设施——此前少有工作同时给出。已公开的 agentic RL 报告大致受限于三点：训练批量停留在数百条轨迹量级，环境集中于单一代码域，奖励仍以二值测试通过与否为主。后者尤其致命——“通过即满分”抹平了实现质量差异，并在长程任务上诱发投机式实现与 token 膨胀。

MiMo-V2.6 的贡献可分四层。其一，给出 1.02T 总参 / 42B 激活与 310B / 15B 两档全模态 MoE 基座，采用 SWA 与 GA 交错的混合骨架，把可用上下文推到 1M，为长程 agentic 任务提供探索空间。其二，把 RL 批量推到每步 1,568 prompt × G=16 = 25K 条轨迹、2.7–3.7B token，并以 2.6M 美元的单次训练成本给出“分数—成本”曲线：DeepSWE v1.1 avg@3 由 58.4 升至 72.6（Pro）、48.7 升至 65.7（Flash）。其三，把 harness 多样性提升为与任务多样性并列的训练维度，用可自由组合的 mini-harness 取代生产级脚手架，实测跨未见 harness 的 Pass@1 均值由约 50% 升至 66%。其四，提出组内 agentic 评分（GRS 离线 rubric、GAR 在线优势重分配），把二值奖励扩展为质量分层信号，并以冻结路由、长度惩罚、行为惩罚与多层反作弊维持万亿级训练的稳定性。相较 MiMo-V2.5-Pro，DeepSWE v1.1 由 19.0 升至 71.9，AutomationBench 由 16.0 升至 53.1，已非同一代模型。

I. Theoretical Framework & Hypotheses（理论框架与假设）

核心命题：RL 算力是可独立扩展的第三轴。作者把“模型智能”拆成三项可加投入——探索空间（预训练 + 中训提供的基座与上下文）、环境复杂度（任务 × harness 的组合数）、评分精度（grader 算力与信号粒度）。前两项决定策略能探索到哪里，第三项决定梯度指向哪里；三者缺一，扩大批量只会放大噪声。

目标函数。L(θ) = −E[ (1/Σ_i|o_i|) Σ_i Σ_t r_{i,t} M_{i,t} A_i log π_θ(o_{i,t}|q,o_{i,<t}) ]，其中 r 为逐 token 重要性比、M 为 token 掩码、A 为序列级优势；采用 prompt-mean 聚合而非 token-mean，以抑制回答长度在 RL 中快速膨胀。

奖励合成。GRS：R_i = R_i^test · S_i^sol · S_i^beh，乘法形式保证 rubric 监督始终挂在测试结果上——失败轨迹奖励仍为零，通过轨迹再按实现质量与解题行为分层。GAR：对混合结果组做组内排名，令 P={i:R_i=1}、质量因子 f_i∈(0,1]，则 λ = Σ_{j∈P} A_j / Σ_{j∈P} f_j A_j、A_i' = λ f_i A_i (i∈P)，保持 Σ_{i∈P} A_i' = Σ_{i∈P} A_i，即只把正优势从低质量通过解搬到高质量通过解，不动失败轨迹。

M. Materials & Methods（材料与方法）

• 架构家族：混合稀疏 MoE Transformer。主干由 M 个混合块堆叠，每块为 N 个局部滑窗注意力（SWA，W=128）块后接 1 个全局注意力（GA）块；首个 Transformer 块改用 GA + 稠密 FFN 以稳定早期表征。SWA 与 GA 均使用无共享专家的稀疏 MoE FFN，并接 SWA + 稠密 FFN 的 MTP 头。Flash：310B 总参 / 15B 激活，48 层（39 SWA / 9 GA），hidden 4096，256 专家取 8，SWA 头 64/8、GA 头 64/4；Pro：1.02T 总参 / 42B 激活，70 层（60 SWA / 10 GA），hidden 6144，384 专家取 8。视觉侧 MiMo-ViT 681M（28 层，24 SWA / 4 GA，sink 增强 SWA，局部层按行主序/列主序交替序列化）；音频侧 tokenizer 编码器 308M（24 层，20 层 RVQ、20 码本、25 Hz）+ patch 编码器 127M（6 层，25 Hz → 6.25 Hz）；投机解码为 5 层稠密 FFN 草稿器，单次前向预测 7 个 token。
• 预训练：两阶段。第一阶段纯文本训语言主干，第二阶段接入自研 ViT 与音频编码器做全模态联合训练（ViT 单独在 4T+ 图像 token 上预训练，仅用交叉熵，不用对比学习）。上下文自 32K 起、训练中途延至 256K。Flash 48T token（26T 文本 + 22T 全模态），Pro 30T token（27T + 3T）。
• 中训：以 agent 为中心的数据混合（代码 / 通用 / 视觉 / 研究轨迹 + 高质量文本、仓库级代码、图 / 视频 / 音频），先以 256K 消耗主要算力，末段延至 1M。优化器由 AdamW 切至 Muown（Muon + 显式行范数控制，抑制谱范数漂移），嵌入 / LM head / MoE router 仍用 AdamW；并施加 MXFP4 量化感知训练。切换全程无 loss spike。
• RL 规模与配比：GRPO + 异步部分 rollout（staleness=4），prompt-mean 聚合，重要性比逐 token 计算并按正 / 负优势各设上下界做四段解耦裁剪（初值 [0.2, 5.0]，依策略熵在线调整正负界）。每步 1,568 prompt × G=16 = 25K 条轨迹、2.7–3.7B token，单序列 110K–150K token，上下文至 1M；成本拆分（Pro）：rollout 43.8% / training 43.5% / grader 12.7%。任务配比：agentic 与竞赛编程 68%、通用工具调用 12%、美学设计 13%、上下文遵循 3%、网络安全 4%。
• 环境与 harness：五条代码任务合成通路（GitHub PR/issue、企业内部真实开发请求、规格驱动、CodeMidas 源码驱动、公开数据集与授权数据），配套“规格—测试对齐”审查、四 rollout 审计（区分假阳性 / 假阴性）、八次重跑稳定性检查。通用 agent 环境由真实文件 + 本地软件 mock 构造，任务以原子二值 rubric（代码检查 + 模型检查）验证。安全任务改用 sanitizer 报告的“漏洞类型 + 崩溃栈顶帧”双条件做确定性判定，取代 CyberGym 的修复前后差分与 LLM 判定。训练不用生产 harness，而从同一最小 agent loop 派生 4 个 mini-harness（Code / General / Visual / Cyber），模块解耦、可重组。
• 稳定性机制：RL 期冻结 MoE router；组相对长度惩罚 R̃_i = R_i − 1[i∈P_q]·X·[clip((ℓ_i/ℓ_q*−1−δ)/(s−δ),0,1)]^γ（仅在组通过率高于阈值 A 时生效，ℓ_q* 取组内成功轨迹的 B 分位长度）；分段行为惩罚对格式违规与工具调用错误施加 token 级优势缩放，并保持正负两侧优势质量守恒。基础设施侧：Harness Pool 提供多框架高并发 rollout，Payload Porter 解耦控制面与数据面，Sample Mixer 配合动态采样与部分 rollout 稳定每任务样本占比，训练 / 推理引擎对齐 MoE 路由与 top-p 候选集。

R. Results（结果）

• RL 算力—分数曲线：DeepSWE v1.1 avg@3 随累计成本单调上升，Pro 58.4 → 72.6，Flash 48.7 → 65.7；单次 RL 后训练花费 $2.6M（Pro）/ $0.9M（Flash），全程数千张 GPU、单个 run 完成。
• 与上一代及前沿模型的对比（Table 3，同一评测口径，基线均取最高推理档）：

• 跨 harness 迁移：在 4 个训练 mini-harness 上训练后，3 个留出 harness（codex、claude code、mini-swe-agent）的 DeepSWE v1.1 Pass@1 均值由约 50% 升至 66%，且训练 / 留出 harness 的均值差距收窄——能力并非绑定于某一 harness 实现。
• GAR 消融（Flash，仅代码 RL，batch=128，图 8）：不加在线组内评分时，轮数与总 token 长度快速上升，更多轨迹撞上长度上限，通过率难以持续提升；加入后通过率增益延续至第 52 步，轮数基本平稳、token 长度缓慢增长。维护者审计另发现：无在线评分的策略更常采用投机性兼容分支、过宽导出、异常吞没、放宽校验与“为评测定制”的配置改动；有在线评分的策略补丁更小、更贴合任务范围。
• 路由冻结（Pro，解码器第 9 层、384 专家，图 11）：可训练 router 时三项负载指标在前 20 步单调恶化——CV 由 0.78 → 2.0、峰值负载由 6× → 16×、冷专家比例由 0.5% → 22%；把第 20 步的 router 参数回滚到初始值后负载立即恢复且 benchmark 不变，证明塌陷源于 router 漂移而非专家权重退化。冻结后 CV ≈ 0.7、峰值 ≈ 5.5×、冷专家 ≈ 1%，benchmark 正常上升。
• 开源套件验证（MiMo-V2.6-Distill-Qwen-9B，9B 学生模型）：11 项评测在 RL 后全部高于 SFT——SWE-bench Verified 61.1 → 66.2、SWE-bench Pro 44.6 → 47.6、Terminal Bench 2.1 37.1 → 52.8、MiMo Cyber Bench (mini) 31.3 → 47.0、AutomationBench 5.0 → 33.1（原始 Qwen3.5-9B 为 5.0）、MiMo General Bench (mini) 62.2 → 70.6、MiMo Visual Coding (mini) 64.0 → 72.4，内部音乐基准 45.7 → 52.5。多 harness RL 在 21 个“数据集 × harness”组合上全部优于单 harness，MiMo Code Bench (mini) 上较 SFT 额外增益 1.8–9.3 个百分点。
• 后训练扩展：混合 RL 之后以 MOPD2（多教师、多前缀的在线策略蒸馏）把难以用 RL 验证的领域能力并入学生，覆盖长程游戏开发、科学研究与具身智能；前缀来自教师 rollout（Teacher-Prefix OPD）或 SFT 数据（SFT-Prefix OPD），一条 k 轮轨迹提供 k 个可独立采样的历史前缀。

a / D. Discussion & Conclusion（讨论与结论）

• 范式意义：把“后训练算力”当作第一等公民。此前 agentic RL 的规模瓶颈被默认为“环境造不出来、grader 太贵”，本文用 25K 轨迹/步、$2.6M 单次训练与开源环境套件证明这条轴可以像预训练一样被持续加码，并给出可复现的“成本—分数”关系。这与“只堆预训练 token”的路线形成明确分岔：同样是提升智能，本文把边际投入放在交互与反馈上。
• 奖励信号是新的缩放维度。GRS/GAR 的本质是把“通过与否”的一维信号扩展成“通过 × 质量 × 行为”的多维信号，使同一组全通过样本仍能提供梯度。这既提升了 token 效率（同分更短），也改变了模型的行为倾向——从“讨好测试”转向“写可维护的补丁”。该结论由消融（图 8）与维护者审计双向支持，是本文最可迁移的部分。
• 工程发现的独立价值。router 冻结实验给出了一个干净的因果链：负载塌陷由 router 漂移引起，回滚参数即恢复，故可直接冻结。对任何万亿级 MoE 的 RL 后训练，这都是低成本、高收益的默认设置。
• 局限：(1) grader 本身是模型，存在被讨好、跨 run 不一致与误判的风险，作者以“多层防御”缓解而未给出量化上界；(2) 网络安全（ExploitBench 47.9 vs 78.5）与最难代码任务（ProgramBench 26.5 vs 37.0）仍明显落后于最强闭源模型；(3) 单个 run 花费百万美元量级，可复现性受算力门槛约束；(4) 本文以模型报告形式呈现，缺少与同等算力下其他 RL 配方的受控对比；(5) RSI 仅作为动机提出，未给出模型自主提出任务并自我提升的闭环证据。
• 启示：对做 agent 产品的团队，最直接的可借用项是 mini-harness 化训练（可控、可重组、可迁移）与组内评分（用少量 grader 算力换 token 效率）；对做基础设施的团队，是控制面 / 数据面解耦与训练—推理一致性（MoE 路由 + top-p 候选集对齐）。作者开源训练动力学、环境与框架，实际是把“规模化 agentic RL”的复现门槛从“有几千张卡”降到“有几百张卡 + 一套好环境”。