🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
你有没有试过照着照片画一个人？心里清楚要画谁、什么表情，这是「懂」；可手一落笔，鼻子歪了、光影糊了，这是「画不好」。会画画的人都知道，这两件事用的是两套本事：一套是看懂画面里有什么、彼此什么关系，另一套是把颜色和线条精确地铺到纸上。
过去几年，让电脑画图的模型基本分成两大门派。一派像写字一样，一个词接一个词地往外蹦，特别擅长记住「图里该有什么」；另一派从一团雪花噪点开始，一点点擦干净，特别擅长把细节磨得又亮又细。大家一直在争论哪一派更强，却很少有人想到：也许它们根本不该比，而该分工。这篇文章就是从这个念头开始的。
这个问题之所以值得琢磨，是因为它直接关系到钱。训练一个能画图的大模型，要烧掉成千上万块显卡、连跑好些天，电费和机器费都是天文数字。如果一开始就把力气用错了地方，后面画得再辛苦也是白费。所以「先学什么、后学什么、各花多少力气」，本身就是一个能省下大笔开销的问题。
② 研究问题（要回答什么？）
作者想问的其实很朴素：既然「懂」和「画」是两套本事，能不能让电脑先专门学懂，再专门学画？
他们把它拆成四小问。
第一，在同样多的算力、同样多的图片下，先学懂再动手画，画出来会不会比一上来就画更好？
第二，学懂的时候该记什么？是记住每个像素的颜色、以便把原图复原出来，还是只记住「有只橘猫趴在窗台上」这种意思？
第三，算力变多以后，应该多花在学懂上还是多花在画上？有没有一条能算出来的分配比例？
第四，把这套办法放大到一个大模型上，还灵不灵？
这四问其实环环相扣：第一问管「要不要拆」，第二问管「拆开以后让前半段学什么」，第三问管「拆开以后两边各分多少资源」，第四问管「这套思路是不是只在实验室的小模型上好看」。作者把前三个问题用规模很小的对照实验逐一验证，再拿结论去指导一次真正的大规模训练，最后用公开评测来回答第四问。
③ 研究方法（怎么做的？）
他们的办法像上学：先上「文化课」，再上「美术课」。
第一步是造一本「看图说话」的字典。他们请一位已经很会看图的视觉模型当老师，把它看到的东西压缩成一串离散编号，就像把一幅画翻译成一句话里的词。有意思的是，这本字典不是靠「把图复原出来」练成的，而是靠「看着这些编号去猜下一句描述」，也就是纯粹的语文训练。所以它根本不会画画，也不需要会。
第二步是文化课：让一个自回归模型按随机顺序猜这些编号，像做填空题，猜得越准，说明它越懂图里有什么。
第三步是美术课：把刚才那个模型整个冻住，只在它身上加一层专门负责落笔的扩散模块，让它从噪点一步步画出清晰图像。上课时给它看真图的编号，考试时给它看自己猜出来的编号——这才是真正的难点。
最后，他们训练了一大排大小不同的模型，拟合出「参数、数据、算力」之间的经验公式，据此决定钱该怎么分。
④ 结果（发现了什么？）
结论有点反直觉，先说分工。在参数量和数据量都对齐的情况下，先学懂再画的路线，在图像生成评测上拿到 65.5 分，而从头直接画只有 61.2 分；另一种「先压成连续特征再画」的路线，只有 56.6 分。可见「分成两段」本身不值钱，值钱的是「用自回归去学懂」。
再说字典。那个能近乎完美复原原图的字典，复原误差只有 1.04，可它最后画出来的图最差，只有 54.7 分；而那个完全不会复原、连图都解不出来的纯语文字典，最后反而拿到 64.8 分。也就是说，中间那串编号像不像一张图，根本不是重点。
最后是放大。他们把模型从五千五百万参数一路做到二十四亿，拟合出规律：先学懂再画的路线，理论上的「天花板」更低，也就是越练越能练出更好的结果。按这条规律，他们只用约六千六百个显卡小时，就训出一个三十亿参数的画图模型，在两套评测上分别拿到 86 分和 87.78 分，算力约为同类模型的四十八分之一。
⑤ 讨论（这些发现说明什么？）
作者怎么解释这些现象？他们认为，关键不在「谁画得更像」，而在「谁更懂」。扩散模型像一个手很稳的画师，你告诉他画什么，他就能画得很漂亮；可如果你给的信息本身就含糊，他再稳也只能画出漂亮但不对的东西。自回归模型干的事，是把一句简短的提示词，慢慢展开成一份更具体、更有条理的施工图。
这也解释了那个奇怪的结果：能复原原图的字典，脑子里装的是颜色和纹理；纯语文训练出来的字典，脑子里装的是「这是什么、在哪里、和什么在一起」。后者才是画师真正需要的信息。
他们还提出一个猜测：现在最顶尖的商业画图模型，可能也在悄悄做类似的事——先想清楚，再动手画。只不过这一步藏在系统内部，外面看不见。也就是说，这项研究可能不只是发明了一种训练法，而是在给一个已经存在的现象补上解释。
⑥ 结论（最终结论 + 启示）
一句话：先懂，再画。
这项工作的意义不只是一个分数。它把「视觉生成」从一个「选边站」的问题，变成了一个「怎么分工、怎么分钱」的问题：懂的部分交给擅长推理的自回归，画的部分交给擅长细节的扩散，算力则按拟合出来的规律分给两边。
对普通人来说，这意味着以后用同样的电费，也许能换来更好的图；对研究者来说，它提供了一套可以照着抄的配方，和一个可以继续验证的假设。作者也承认，跨系统的比较只能算粗略，很多结论还要在更大规模上再看一遍。
更值得记住的是那个反直觉的发现：让中间产物「更不像图」，反而能画出更好的图。这提醒我们，评价一个中间步骤好不好，不能只看它自己像不像最终答案，而要看它有没有把下一棒最需要的东西交出去。这个道理其实不只适用于画图。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
视觉生成长期被表述为两条路线的竞争：自回归（AR）模型预测离散视觉 token，潜空间或像素扩散模型（LDM/PDM）对连续信号去噪。这种「二选一」的比较隐含一个未经检验的前提——视觉知识获取与像素渲染这两个子问题应由同一目标函数承担。本文主张解耦：AR 负责知识获取，扩散负责渲染，形成 pretraining–post-training 范式，其结构与语言模型「先预训练、再后训练」同构。
既有工作留下三处空白：(1) 语义 tokenizer 的改进（AlignTok、REPA、RAE、SeFi 等）仍把语义学习耦合在重建或扩散目标上，语义性只是副产品；(2) 混合 AR+diffusion 的工作（MAR、Transfusion、并发的 VoT）关注「如何组合目标」，而未追问「每个目标该学什么」；(3) 扩散 scaling law 研究（Chimera 等）只缩放单一目标，不处理跨目标算力分配。
本文贡献四项：(a) 受控实验证明 AR 是更优的预训练目标；(b) Semantic-LM——无图像解码器、无重建损失、纯语言监督的语义 tokenizer；(c) 两阶段各自的 compute-optimal law 与跨阶段分配律（r≈0.40）；(d) 3B 模型、6,600 H100 GPU-hours、GenEval 0.86 / DPG-Bench 87.78 的规模化验证。
I. Theoretical Framework & Hypotheses（理论框架与假设）
框架把生成建模拆成两个可独立优化的目标。设冻结 tokenizer 将图像映射为 v=(v₁,…,v_L)，冻结文本编码器给出 c，随机采样空间置换 π，位置指令 token 为 o：
L_AR(θ) = −Σᵢ log p_θ(v_π(i) | v_π(<i), o, c)
L_Diff(φ) = E‖ f_φ(x_t, t, v, c; θ) − v_target(x_t, x₀, t) ‖²
渲染器复用冻结主干的注意力投影，只训练输入投影、时间步嵌入、扩散 FFN、AdaLN 与线性像素读出；目标为像素空间 flow matching，网络输出 x̂₀ 再经稳定化分母 d=max(1−ũ,0.05) 转成速度。两阶段由「推理时用 AR rollout 的 token 替换真图 token」衔接。据此提出四条可检验命题：
| 编号 | 命题 | 检验方式 |
|---|---|---|
| P1 | 语义质量而非重建/AR-only 质量决定最终生成 | 三种 tokenizer 单变量对照 |
| P2 | AR 比 LDM 更适合作预训练目标 | 同参数量、同图像曝光的四路对照 |
| P3 | AR 预训练降低渲染损失的渐近下界 | 拟合 E 项对比从头训练的 PDM |
| P4 | 两阶段算力分配近似尺度不变 | envelope / IsoFLOP / parametric 三法 |
M. Materials & Methods（材料与方法）
- 架构家族：AR 主干为 causal RandAR transformer（RMSNorm、QK-norm、SwiGLU、RoPE），渲染器为 DiT 式像素扩散，复用冻结主干注意力投影，仅训练输入投影、时间步嵌入、扩散 FFN、AdaLN 与像素读出。
- 参数量：受控实验约 400M（250M 主干 + 150M 渲染）；缩放族 18/14/8 个模型分别覆盖 55.71M–2.43B、25.1M–2.03B、23.83M–1.76B；最终模型约 3B（宽 2304、27 层）。
- Tokenizer：IBQ 码本 131,072 项、码维 256。Recon 用 Emu3.5；Semantic-Recon 量化冻结 Qwen2.5-VL 特征并加 12 层 decoder 重建；Semantic-LM 仅训码本，以冻结 Qwen2.5-VL-32B 的下一词交叉熵训练（40k updates、DataComp-VLM 200B），无解码器与重建损失。
- 目标：AR 为随机序 token 交叉熵；渲染为像素空间流匹配的速度 MSE（σ=2、16px patch）。
- 数据与课程：in-house 图文数据，256²/512²/1024² 三档分辨率；预训练 150k updates、batch 2048，后训练 100k、batch 512，两段图像曝光对齐。
- 算力与拟合：总预算约 6,600 H100 小时（3,960 / 2,640）；拟合
L̂=E+A(N/10⁸)^−α+B(D/10⁹)^−β，以C=6ND_seq为算力代理，三法交叉验证，超参 CompleteP 迁移。 - 评测：GenEval（553 prompts、seed 42）与 DPG-Bench（1,065 prompts × 4 图、seeds 42–45）。
R. Results（结果）
- P2 成立：同规模四路对照中，AR→PDM 仅 10 万次后训练更新即达 GenEval 64.8，超过训练 40 万次的 PDM（61.2）；充分训练后 65.5 / DPG 71.1，而 LDM→PDM 仅 56.6 / 60.0——分成两段本身无效，关键是目标函数。
- P1 成立：Recon 的 rFID 最低（1.04）、AR-only 得分最高（57.49 / 65.94），后训练后反降至 54.67 / 62.98；Semantic-LM 无法重建、AR-only 为 0，后训练后却达 64.84 / 67.72（Δ +64.84）；Semantic-Recon 居中（65.51 / 71.11）。
- P3 成立：后训练拟合
E_post=0.0701（14 个模型），从头 PDM 为E_scratch=0.0788（8 个模型）——AR 预训练不仅收敛更快，外推的损失地板也更低。 - P4 成立：预训练
N_opt∝C^0.47–0.53、D_opt同阶；后训练N_opt∝C^0.45–0.70、D_opt∝C^0.30–0.55，渲染阶段更偏向涨模型；九个配对模型汇总C_pre:C_post≈1.50:1（r=0.40），261M–2.03B 区间 r 稳定在 0.383–0.403。
| 阶段 | 可训练部分 | 目标 | 更新数 | 预算 |
|---|---|---|---|---|
| 语义 tokenizer | IBQ 码本（VLM 冻结） | 语言建模交叉熵 | 40k | 不计入 |
| AR 预训练 | AR 主干 θ | 随机序 token CE | 150k | 3,960 H100·h |
| 扩散后训练 | 扩散模块 φ | 像素流匹配速度 MSE | 100k | 2,640 H100·h |
| 方法 | 参数量 | GenEval ↑ | DPG-Bench ↑ |
|---|---|---|---|
| Ours | ~3B | 0.86 | 87.78 |
| Qwen-Image | 20B | 0.87 | 88.32 |
| SeFi-Image-5B | 5B | 0.88 | 87.27 |
| Seedream 3.0 | – | 0.84 | 88.27 |
| FLUX.1-dev | 12B | 0.82 | 84.00 |
| SD3-Medium | 2B | 0.74 | 84.08 |
| Z-Image-Turbo | 6B | 0.82 | 84.86 |
最终模型分项为单物体 1.00、双物体 0.82、计数 0.75、颜色 0.99、位置 0.79、颜色属性 0.81，呈「颜色强、双物体与计数弱」形态；总算力约为 Z-Image-Base 估计值的 1/48。
a / D. Discussion & Conclusion（讨论与结论）
- 理论意义：把「AR 还是 diffusion」的路线之争重述为目标分配问题——两个目标不必在同一尺度上合并（交叉熵与速度 MSE 不可比），只需各自 compute-optimal、再按分配律拼合。Semantic-LM 进一步说明视觉 token 可以是「推理与渲染之间的压缩语义状态」，而非图像的可解码压缩，这与「视觉 token 必须可重建」的自编码器传统形成直接对立。
- 与前沿系统的关系：作者推测 GPT Image 2、Ideogram 4.0、Reve 2.1 等系统已在像素生成前做大量语义推理（提示改写、长文本 rollout 是其可见实例），本文的 AR rollout 是同一原则在视觉 token 上的紧凑、空间落地版本。
- 局限：(1) 跨系统 benchmark 比较口径不一（文本编码器、训练数据、评测协议不同），作者明确「未证明分配最优」；(2) 后训练 scaling law 以配对冻结 checkpoint 为条件，不能单独解释扩散容量；(3)
C=6ND为归一化代理，未计冻结 AR 前向的真实 FLOPs；(4) E 项是拟合外推，非实测渐近；(5) 评测使用 LLM 提示改写与固定种子下的变体挑选，可能抬高绝对分数；(6) Semantic-LM 训练数据（DataComp-VLM 200B）与生成器数据不同源，tokenizer 与生成器数据的相互作用未拆解。 - 启示：算力受限场景下「小模型 + 正确范式」可能优于「大模型 + 错误目标分配」；后续值得探索文本 rollout、视觉 token rollout、结构化表示与 agentic 上下文之间如何分工，以及各接口应预先消解多少不确定性。
🧠 IRMaD 思维导图
mindmap
root((先懂再画))
I 引言
懂与画是两套本事
自回归与扩散之争
同一目标承担两件事
语义表征仍被耦合
R 问题与命题
AR是否更适预训练
该预测语义还是像素
算力如何两阶段分配
P1 语义优于重建
P2 AR优于LDM
P3 渐近损失更低
M 方法
语义分词器 IBQ
十三万码本 二五六维
纯语言监督无解码器
RandAR随机序预测
冻结主干加扩散模块
像素流匹配速度损失
十八模型拟合缩放律
六千六百显卡小时
R 结果
65.5 对 61.2
纯语义字典 64.8
可复原者反降 54.7
渐近损失更低
分配比 三比二
GenEval 0.86
DPG 87.78
a 讨论
关键在懂不在画
渲染器只需语义状态
前沿模型或已如此
跨系统比较粗略
分配律带条件
D 结论
先懂再画范式
算力约为四十八分之一
目标按阶段定制
待更大规模验证
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。