🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
用画图来解题，是这两年人工智能领域一个很有意思的新方向。过去模型要靠打字、写推理步骤来解决难题，而现在一批研究让模型直接在图像空间里想事情：遇到迷宫、连线、数独、旅行商路线这类空间问题，它就一格一格地把答案画出来，画到哪一步就是想到了哪一步。
在这类模型里，flow matching（流匹配）看上去天生合适。它的原理是从一团随机噪声出发，用同一个网络反复问很多次“这一步该往哪挪”，最后把噪声慢慢擦干净，露出一张清晰的图。如果一共问 K 次，就相当于给了模型 K 次思考机会。于是大家自然觉得：问的次数越多，推理就越深。
本文作者说，这个直觉很可能是错的。他们发现，对于普通的流匹配，那 K 次“思考”里其实藏着一个陷阱——每次网络只能挪动一丁点，最终的图是由一条连续的轨迹决定的，于是整条轨迹可以被另一种算法用固定几轮、把 K 个位置同时并行算出来的方式重现。多问几次，并没有真正多思考几层。
② 研究问题（要回答什么？）
这项研究想问的是，让模型多画几步，到底能不能让它多推理几步。作者把它拆成了两个更硬的问题。
第一个问题是“上限”：如果主干网络的层数是固定的，那么不管采样步数 K 取多大，这个模型究竟能不能解决更难的题目？作者的猜测是——不能，K 再大也白搭。
第二个问题是“破法”：既然多走几步没用，那有没有一种简单的改法，能把这个瓶颈真正打开，让额外的采样步真的变成额外的推理深度？作者盯上了一个老技巧，自条件（self-conditioning）。
为了把话说到能证明的程度，作者没有停留在实验观察上，而是借用了理论计算机科学里的“电路复杂度”标尺，问的是最根本的一件事：这个模型到底能判定哪些问题。
③ 研究方法（怎么做的？）
作者没有直接跑实验，而是先用一套叫电路复杂度的数学工具来算账。通俗地说，就是把模型能解决的所有问题按难度分类：有的问题天生可以“一次性并行算完”，有的则必须一步接一步地算下去，谁也绕不开顺序。
他们先证明：只要模型的输出满足一条温和的规律（幅度有界、输入略有变化输出也只会略有变化，也就是数学上说的利普希茨连续），那么普通流匹配整条 K 步轨迹，可以用一种叫并行皮卡迭代的方法，在固定几轮并行计算里重现出来。既然固定几轮就够，那 K 再大也不能提升模型的解题能力，这一步就是 Theorem 1。
接着他们看自条件：每一步不只把当前的噪声图喂给网络，还额外交给它一份“我猜最终答案长什么样”的估计。作者证明，这份估计相当于模型自带的草稿纸，它可以在两步之间突然大变，因此上面那套“压成固定几轮”的说法就失效了，模型的解题能力被抬到了和多项式空间图灵机同等的级别（Theorem 2）。
理论说完，他们用受控实验去验证：画线追踪、长乘法、长文本渲染三个有已知复杂度的小任务，分别从一个九百万参数的小模型和预训练大模型微调而来，两种方法共享同一套数据、优化器和噪声表，并按累计训练算力严格对齐，唯一差别就是有没有自条件。
④ 结果（发现了什么？）
在画线追踪、长乘法、长文本渲染三个受控任务上，加了自条件的模型明显更强。画线追踪里，普通流匹配的正确前缀长度卡在 8 左右再也上不去，而自条件版本一路涨到满分 50；长乘法上，自条件用不到一半的算力就把准确率推过 90%，普通版本在同样的算力区间里始终够不着；长文本渲染上，普通版本的准确率长时间近乎为零。
最能说明问题的是“多给几步会怎样”的对照实验。作者固定两个算力相同的模型，只改变采样步数：两者在只有一步时表现都是零，之后自条件版本迅速拉开，十步就到 49.84，而普通版本六步时勉强到 7.66，一直加到五十步也没能超过 8.0。
画线追踪 50 比 8
长乘法 九成对三成半
长文本渲染 误差 0.005 对 0.046
普通版平均 65.9%
自条件版平均 76.7%
数独一项就 +19.5 个点
换到难度更高的五类视觉推理任务（空间规划、迷宫、旅行商、数独、拼图）后，自条件版在每一项上都赢，平均分从 65.9% 提到 76.7%；再把模型换成两百亿参数的图像编辑主干后，四个任务共用一个适配器也能拿到 90.2% 的平均分，明显压过纯视觉生成基线 66.1% 和带语言链式思考的 76.6%。
⑤ 讨论（这些发现说明什么？）
作者的解释很朴素：普通采样的每一步只挪一点点，就像蜗牛爬行，既然每次位移都被步长卡得死死的，那整条路径就没什么“秘密”可言，可以被更快地一次算完。而自条件额外传的那份“我猜的最终答案”，不受步长限制，可以一步之间翻天覆地地改，于是模型才真正把每一次采样当成一次思考和修改的机会。
作者还做了几项辅助观察来支持这套说法。他们测了普通模型的利普希茨常数，发现它随着问题变大稳定在大约 400 左右，与理论假设的“常数级”量级相符；他们还发现那份终点预测在生成过程中持续获得可观的注意力份额，尤其在早期噪声大的时候更明显，说明模型确实在用它指路，而不只是摆设。
不过作者很坦诚地列出了局限。定理用到的规律性假设偏强，而且那个 400 是实测估计值，不是被证明的上界；理论上对利普希茨常数的依赖已经紧到常数因子，所以未来也许要换一种更宽松的规律性条件。此外，实验主要是受控小任务加上对既有基准的适配对比，作者也提醒，把结论推广到视频生成、连续扩散语言模型或机器人策略学习上，还需要再做实验确认。
⑥ 结论（最终结论 + 启示）
这项研究最后给出的建议很具体，就是让采样步之间多传信息。论文的核心结论是一条设计原理：如果希望模型“想得更深”，就该让它把关于最终答案的猜测当作草稿纸带在身上，在每一步之间传递和修改，这样增加的采样步才会真正换成推理深度。
它的启发有两层。对做模型的人，这是一次提醒——不要默认“多跑几步”就等于“多想几层”，把计算量堆在采样步上而不改信息流，可能全被浪费掉。对做理论的人，它示范了如何用电路复杂度这把尺子，去检验一个看起来很像“推理”的生成过程到底是不是真推理。作者认为，这套分析不依赖具体的数据模态，凡是把流匹配当作采样主干的地方都用得上。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
生成式视觉推理（generative visual reasoning）主张把中间推理状态放在图像空间里直接生成与修改，在空间规划、组合优化、结构化渲染等任务上表现自然（Su et al., 2025b；He et al., 2025；Dai et al., 2026）。流匹配（Lipman et al., 2022；Liu et al., 2022）通过 K 次速度场评估把噪声推向数据，表面上提供了 K 轮顺序计算，He et al. (2025) 即以此思路求解视觉推理任务。
文献空白：生成式视觉推理的计算结构仍属未探明。既有理论工作里，Liu (2025) 给出了最优去噪扩散概率模型的 TC⁰ 上界，但要求模型精确匹配 score 函数，这一假设对实际训练出的模型基本不成立；Chiang et al. (2023) 等对常深度 transformer 的单次评估上限刻画也不适用于“同一次推理里反复调用同一网络”的情形。
本文贡献：（1）在电路复杂度框架下证明，只要模型输出满足轻度规律条件，香草流匹配的整条采样轨迹可由常数轮（O(L) 轮，L 为利普希茨常数）顺序并行模型评估模拟，因此额外采样步对常数深度主干不增加表达力（Theorem 1）；（2）揭示自条件——条件于上一步的终点图像估计——在此扮演了此前未被认识的角色：内部草稿纸，并证明它使 AC⁰ 主干可判定 PSPACE/poly（Theorem 2）；（3）在三个具有已知电路复杂度的合成任务及五个结构化视觉推理任务上验证该分离。
I. Theoretical Framework & Hypotheses（理论框架与假设）
形式化设定：有限精度 b 位小数，状态维度 n，步数 K 均可随问题规模 m 增长；模型 u 需满足 B-有界与 L-利普希茨（联合于 (x, ctx)、对 t 一致），接受语言定义为各输出坐标以裕度 c 与阈值 0 分离。据此给出两条主定理。
| 结果 | 设定 | 精确陈述 |
|---|---|---|
| Theorem 1 香草流匹配的上界 | k≥0 常数，D∈{NC^(k+1), AC^k, TC^k}，u 可由 D 中电路计算；u 为 B-有界、L-利普希茨，B、L 与 m 无关；n=poly(m)；精度满足 (1+Ω(1))·log₂K(m) ≤ b(m) ≤ O(log m) | 若 L 可由 u 在 VanillaFM 下以裕度 1 接受，则 L ∈ D。k=0 时即：TC⁰ 中的对数精度 softmax 注意力 transformer 仍留在 TC⁰，AC⁰ 中的唯一硬注意力/常精度变体仍留在 AC⁰——ODE 迭代本身不增加表达力 |
| Lemma 1 核心技巧 | u 为 B-有界、L(m)-利普希茨，L(m)≥1；b(m) ≥ log₂K(m) + (log₂e)·L(m) + c₀ | 存在 O(L(m)) 轮迭代推理算法，每轮至多 K(m) 次并行调用 u，使 u 以裕度 1/2 接受 L。技巧为并行皮卡迭代：朴素重跑需 e^O(L) 步，而并行更新使误差按阶乘速率衰减，O(L) 轮即够 |
| Theorem 2 自条件的下界 | 对任意 L ∈ PSPACE/poly，存在模型 u： | (a) u 可由 AC⁰ 电路计算；(b) u 为 4-有界、8-利普希茨；(c) b=O(log m)，n=poly(m)，K ≤ 2^poly(m)，使 u 在 SelfCondFM 下以裕度 1 接受 L。若进一步 L ∈ P/poly，同一结果在满足式 (1) 的前提下成立（即多项式步数） |
分离的成立条件（勿写成无条件）：在 P/poly 情形下，Theorem 1 的全部正则性假设都被保留，两定理针对同一模型类，差距仅来自推理算法本身，故对 D∈{AC⁰, TC⁰} 在 P/poly∖D 上形成分离。D=AC⁰ 时分离无条件成立（因 AC⁰ ⊊ TC⁰，Furst et al., 1984）；D=TC⁰ 时分离依赖未证明的猜想 TC⁰ ⊊ NC¹（Vollmer, 1999）。
机制：Theorem 1 的瓶颈源于步间信息只经由状态 x_i 传递，而每步增量被步长 O(1/K) 卡死；自条件引入 z_i := x_(i-1) + (1−t_(i-1))·v_(i-1)（沿速度外推到 t=1 的终点预测，z₀=0），该量不受步长约束、可在步间突变，皮卡迭代的收敛性随之失效。构造上让 z_i 承载图灵机的纸带与状态，每次模型调用推进机器一步，K 次调用即运行机器 Ω(K) 步。
M. Materials & Methods（材料与方法）
- 架构家族与规模：三个受控任务均为 FLUX.2 系 MMDiT（扩散式视觉推理），预训练 VAE 冻结。画线追踪从零训练 9M 参数 MMDiT（3 个 joint-attention 块 + 3 个 single-stream 块，4 头，头维 64）；长乘法与长文本渲染微调 FLUX.2-klein-base-4B；§4.3 受控对比同用 4B；§4.3 大规模对比改用 20B 的 Qwen-Image-Edit-2511。微调一律 LoRA（rank=alpha=32，无 dropout）。
- 自条件的实现：各主干先将图像编码为 VAE latent 并按 2×2 patch 打包成 image token；第二遍训练与首个采样步之后，SelfCondFM 在 transformer 块前把终点预测的 token 与含噪目标、条件图像的 token 拼接。FLUX.2 系给预测 token 附加独立的位置编码偏移，Qwen-Image-Edit 将其置于目标图像 token 之后，均不设注意力掩码，沿用主干自身的图像条件生成设计。因此自条件只改变输入序列，不改变 transformer 架构。
- 训练目标：两遍启发式（Chen et al., 2022）。v⁽¹⁾=u_θ(x̃_t, t; concat(w, 0ⁿ))，v⁽²⁾=u_θ(x̃_t, t; concat(w, sg[x̃_t+(1−t)v⁽¹⁾]))，sg 为停梯度；损失
J_SC = ½ E[t,ε,(w,x)] [ ‖v⁽¹⁾−(x−ε)‖₂² + ‖v⁽²⁾−(x−ε)‖₂² ]，两遍等权。训练仅多一次前向；实测中首遍与首个采样步省略 z₀ 占位符，不影响经验性能。 - 训练数据规模：画线追踪 10⁶ 条随机实例（m=50）；长乘法 2×10⁵ 题（操作数 5–7 位）；长文本渲染 3×10⁵ 条文本条件 + 384×384 等宽渲染目标（语料取自 TinyStories）。硬件为 4×NVIDIA A100 80GB，AdamW、bfloat16、常数学习率 + 1000 步 warmup。
- 公平性控制（关键）：自条件每样本需两次前向，故两法按累计训练 FLOPs 对齐（含 VAE 编码、第二遍前向与更长的 token 序列）。FLOPs 预算：画线追踪 4.50×10¹⁸、长乘法 2.32×10¹⁹、长文本渲染 4.70×10¹⁹。默认在相同 NFE（=步数 K）下比较，默认 50 NFE，§4.2 的 NFE 缩放研究另行变动。
- 任务与复杂度（附录 C 有形式定义与归类证明）：画线追踪为 NC¹-完全，长乘法与长文本渲染为 TC⁰-完全，恰好落在 §3.1 所刻画的分离屏障另一侧。
- 评测指标：画线追踪用最长正确前缀 LCP（五条折线全部着色正确的最长连续阶段数）；长乘法与长文本渲染用实例级准确率，均以 Qwen3.8-Flash 作裁判（长乘法要求终积与每一个中间进位行全部一致；长文本渲染解析文本需逐字符一致，另报告字符错误率 CER = d_Lev(r, r̂)/|r|）。
R. Results（结果）
- 受控分离（§4.2）：画线追踪中 SelfCondFM 在 1.10×10¹⁸ 训练 FLOPs 达到满分 LCP 50，VanillaFM 平台期仅约 8；长乘法上 SelfCondFM 用不到一半预算即超过 90%，VanillaFM 在评估算力区间内从未达到；长文本渲染上 SelfCondFM 随算力上升，VanillaFM 大部分训练期近乎为零。CER 终值 0.005 对 0.046（VanillaFM 平台期在 0.03–0.1）。
- NFE 缩放（图 3，核心证据）：两法在 NFE=1 时平均 LCP 均为 0，随后分化。SelfCondFM 在 NFE=10 达 49.84；VanillaFM 在 NFE=6 达 7.66，直到 NFE=50 仍低于 8.0。即额外采样步对 VanillaFM 不转化为推理深度，对 SelfCondFM 则有效——与定理预测一致。按累计推理 FLOPs 对齐后结论不变（SelfCondFM 达 49.84 用 8.29×10¹¹ FLOPs，VanillaFM 达 7.66 用 2.74×10¹¹ FLOPs，至 2.28×10¹² FLOPs 仍低于 8.0）。
- 多随机种子（附录 D.2.1，3 个种子）：画线追踪匹配预算下 SelfCondFM 50.0±0.0，VanillaFM 仅 5.6±2.7；长乘法（较小预算）SelfCondFM (90.0±5.3)%，VanillaFM (35.0±8.9)%。
- §4.3 受控对比（表 1，同算力同 NFE，FLUX.2-klein-base-4B LoRA）：五任务全部上升，平均 65.9% → 76.7%，TSP +15.7、数独 +19.5 最显著。
| 方法 | VSP-Super | Maze | TSP | Sudoku | Jigsaw | 平均 |
|---|---|---|---|---|---|---|
| VanillaFM | 89.0 | 64.3 | 51.0 | 60.5 | 64.7 | 65.9 |
| SelfCondFM | 92.0 (+3.0) | 70.7 (+6.4) | 66.7 (+15.7) | 80.0 (+19.5) | 74.3 (+9.6) | 76.7 (+10.8) |
§4.3 大规模对比（表 2，20B Qwen-Image-Edit-2511 LoRA，评估协议沿用 Dai et al., 2026；列首为各任务难度档位：VSP-Super 16/32，Maze 8/16/32，TSP 12/15/18，Sudoku 45/40/35/30）：
| 方法 | VSP-Super 16 | 32 | Maze 8 | 16 | 32 | TSP 12 | 15 | 18 | Sudoku 45 | 40 | 35 | 30 | 平均 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-8B (SFT) | 61 | 8 | 53 | 37 | 0 | 59 | 60 | 43 | 30 | 17 | 2 | 0 | 30.8 |
| Qwen3-VL-8B (GRPO) | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0 |
| DiffThinker | 99 | 80 | 100 | 100 | 65 | 76 | 72 | 59 | 97 | 94 | 55 | 13 | 75.8 |
| EndoCoT | 99 | 85 | 100 | 100 | 90 | 77 | 77 | 73 | 100 | 100 | 95 | 64 | 88.3 |
| Ours（逐任务） | 100 | 86 | 100 | 100 | 95 | 79 | 74 | 72 | 100 | 100 | 98 | 76 | 90.0 |
| DiffThinker（统一） | 97 | 84 | 98 | 99 | 66 | 64 | 49 | 34 | 94 | 45 | 26 | 37 | 66.1 |
| EndoCoT（统一） | 100 | 80 | 97 | 98 | 52 | 64 | 55 | 46 | 100 | 88 | 80 | 59 | 76.6 |
| Ours（统一） | 100 | 86 | 100 | 100 | 96 | 78 | 75 | 65 | 100 | 100 | 97 | 85 | 90.2 |
Jigsaw（表 3，EndoCoT 未评测）：Ours 平均 96.0，高于 DiffThinker 92.3，且在最难档位（4 级）优势最大；对照的通用多模态模型 Gemini-3-Flash 29.0、GPT-5 10.0、Qwen3-VL-8B 2.3。
辅助分析（§4.4，支持理论与实际模型的贴合）：混合长度画线追踪上训练出的 VanillaFM，其利普希茨估计在 m≥30 后稳定在约 400 的常数量级；SelfCondFM 中终点预测 z_i 在整个生成过程中获得可观注意力份额，早期 x_i 仍含噪声时份额更大；流匹配式推理还保留了并行形成多个局部结果、以及在轨迹中途就地纠正错误的能力。
a / D. Discussion & Conclusion（讨论与结论）
- 理论意义：本文给出生成式视觉推理第一个可证的表达力分离。关键点在于分离的两侧是同一模型类：P/poly 情形下自条件模型保留了 Theorem 1 的全部正则性假设（4-有界、8-利普希茨、b=O(log m)、n=poly(m)），因此差距纯粹来自推理算法（是否在步间传递终点预测），而非来自更大的模型或更强的假设。这把“采样步＝推理步”的工作直觉替换为一个更精确的判据：步间信息通道的带宽决定额外步数能否转化为深度。
- 与既有理论的关系：Liu (2025) 的 TC⁰ 上界要求精确匹配 score 函数，对实际训练模型不成立；本文改为只要求幅度有界与利普希茨连续这两条更弱的正则性，因而更贴近真实模型。与自我条件化的既有文献（Chen et al., 2022 等）不同，本文将自条件视为维持计算状态的机制而非经验正则项。
- 鲁棒性（§3.4 扩展）：L 增至 poly(log m) 时 VanillaFM 获 NC 上界，L=O(log^k m) 时获 TC^k 上界；把 ℓ∞ 利普希茨换成任意 ℓp 范数，Theorem 1/2 均保持；把 Euler 换成任意节点落在 [0,1] 的显式 Runge–Kutta（如 Heun 法），VanillaFM 的渐近结论不变。此外 Lemma 1 的 O(L(m)) 轮数对电路深度是紧的：任意深度 d 的多项式规模多数门电路都可由 O(d)-利普希茨的 TC⁰ 模型在 O(d) 轮内模拟，故不能改进到 o(L(m)) 轮，除非多项式规模多数门电路的深度层级坍缩。
- 局限：（1）Theorem 1 的正则性限制偏强，尤其是常数级利普希茨要求；§4.4 的利普希茨估计约 400 且为经验估计而非认证上界，作者明确说明这一点；由于理论对 L 的依赖已紧到常数因子，未来或需探索替代的规律性条件。（2）Theorem 2 的一般情形需 K ≤ 2^poly(m)（指数步数才能覆盖 PSPACE/poly），多项式步数仅覆盖 P/poly。（3）TC⁰ 一侧的分离依赖未证明猜想 TC⁰ ⊊ NC¹。（4）实证主体为合成受控任务与对既有基准的适配对比，未涉及大规模预训练级别的验证。
- 实践启示：作者提出一条可直接落地的设计原理——在采样步之间传递更多信息，使额外步数转化为更深的推理；具体做法即把终点图像估计作为内嵌草稿纸喂回。该分析不依赖数据模态，因此作者认为它同样适用于视频生成、连续扩散语言建模与视觉运动策略学习，但这三处的实证增益仍是开放问题。
- 可复现性与资助：代码公开于 GitHub 仓库；附录 A/B 给出主定理与扩展的完整证明，附录 C 形式定义三个合成任务并证明其电路复杂度归类，附录 D 给出主干、自条件实现、FLOPs 记账与评测协议。论文另附 AI Disclosure，说明合成数据生成、Picard 迭代思路、证明撰写与代码实现使用了生成式 AI 工具，但理论模型与概念框架由作者独立提出，所有 AI 辅助证明均经至少两位其他作者复核。arXiv 预印本未见资助声明。
🧠 IRMaD 思维导图
mindmap
root((自条件让流匹配会推理))
I 引言
图像空间推理兴起
直觉 采样步等于推理步
本文证明这是错觉
电路复杂度给判据
R 理论
定理一 香草流匹配不加深
并行皮卡迭代压缩步数
定理二 自条件可达空间
端点预测充当草稿纸
分离界 多项式空间之外
M 方法
自条件流匹配算法
两遍训练加停梯度
同主干同数据同噪声
按训练算力对齐
四个高端显卡训练
R 结果
画线追踪 五十对八
长乘法 九成对三成半
五任务均分 涨逾十点
更大模型 均分九成
多步推理随步数变深
a 讨论
多传信息才变深推理
利普希茨估计约四百
正则假设较强
算力开销被对齐控制
D 结论
采样步间多传信息
作为设计原理提出
不限于图像模态
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。