🧒 初中生也能看懂的版本
① 研究背景（为什么要做？）
现在的大模型很能干两件事：看懂一张图，和画出一张图。但很多人不知道，这两件事在模型内部往往是用两套不同的语言在做。理解图像时，模型把图片拆成一段段连续的数字向量；生成图像时，它又用另一套连续的解码器把数字变回像素。文字则始终是一堆离散的词。问题就出在这里：两套表示活在两个不同的空间里，优化目标也不一样，训练时容易互相拉扯。
过去也有“统一模型”的尝试，但多数只是把两个模块塞进同一个骨架，内部仍然是两套逻辑。作者想做的是更彻底的一件事：让图像也用文字那种离散的方式表示，从而和文字共享同一张“词汇表”。不过这里有个坎——一个图像位置只用一个离散码，容量太小，画不细。
② 研究问题（要回答什么？）
核心问题可以写成一句话：能不能用“多个码本”来补上离散表示的容量缺陷，同时保持与文字建模的兼容？
拆开看有三问。
第一，多码本怎么放进扩散语言模型？扩散模型是并行去噪的，文字是逐个生成的，两种节奏怎么接。
第二，理解和生成能不能真的共用一套表示？不是架构上共用一个骨架，而是优化空间上真的统一。
第三，代价是什么？多码本会不会让推理变慢、让训练更难，能不能用采样策略把速度找回来。作者还额外问了一句：这套表示能不能同时覆盖图像、视频和三维。
③ 研究方法（怎么做的？）
可以把它想成给每个像素位置准备一叠色卡，而不是一张色卡。
输入侧：每个视觉位置由来自多个互补码本的一组码表示。每个码本有自己的嵌入表，这样码本的“身份”不会混；这些嵌入拼起来、投影成一个主干 token，和文字 token 走同一条路。
输出侧：一个轻量的多码本自回归头，沿着码本维度依次预测每个位置上的码；与此同时，扩散主干在空间维度上并行处理所有位置。也就是说，空间并行、码本串行——这正好对应图像本身的结构：不同位置可以同时生成，同一个位置的多个细节要一层层定。
训练与系统：主模型在 1,024 张华为昇腾 910B 上训练，另有一个在英伟达 GPU 上用相同配方、更小预算独立训练的参考模型，用来检验跨平台一致性。推理侧用一套稳定性引导的采样策略，把去噪步数和缓存刷新时机都做了优化。
④ 结果（发现了什么？）
先看规模：模型是 16.9B 总参数、1.4B 激活（稀疏结构）。
GenEval 89，DPG-Bench 87.79（昇腾）／87.99（英伟达），TIIF-Bench 87.1，WISE 0.56。作为对照，纯生成模型 Qwen-Image（20B）的 GenEval 是 87、DPG 是 88.32；统一模型 LLaDA2.0-Uni 的 GenEval 是 89、DPG 是 87.76。
MMMU 52.2（昇腾）／55.5（英伟达），ChartQA 86.2，CharXiv 文档问答 85.9，幻觉基准 HallusionBench 64.6。
⑤ 讨论（这些发现说明什么？）
作者的解释集中在一个判断上：“统一”的关键不是共用一个骨架，而是共用一个优化空间。过去那些保留连续视觉状态的混合方案，视觉保真度确实高，但理解用一套编码器、生成用另一套解码器，目标函数也不一样，训练时两边会互相牵制。把视觉也变成离散码之后，理解和生成就变成了同一类问题——都是预测下一个离散标记，只不过图像这边多了“码本维度”这一层。
作者还指出了两个设计选择的必要性：给每个码本独立的输入嵌入表，能让模型区分“这是第几层细节”，消融显示这对后面几个码本的预测准确率提升最大；多码本自回归输出头则负责捕捉码本之间的依赖关系，在计数、位置、属性绑定这几类任务上增益最明显。这两点恰好对应单码本离散方案的两个老毛病。
⑥ 结论（最终结论 + 启示）
这篇论文的分量在于它把统一多模态从“架构层拼装”推进到了“表征层统一”。此前的路线要么牺牲容量换兼容，要么保留容量但放弃统一；多码本全离散的路线第一次把两者同时拿到。作者也给出了完整的工程证据：跨昇腾与英伟达两个平台的一致性、一套可复用的训练与推理栈、以及一条能带来 4.45 倍加速的采样策略。当然，它是一个预印本，最终要靠社区复现与第三方评测来确认；但就“是否提出了一个新范式”这一点而言，答案是肯定的——它给出了一条可以被后来者继续走的、自洽的离散统一路线。
🎓 专业 IRMaD 结构解读
I. Introduction（引言）
统一多模态模型的既有路线可分三类：离散单码本（Chameleon 等）、连续/混合（BAGEL、InternVL-U、OmniGen2 等）与扩散语言模型（LLaDA-o、MMaDA、Lumina-DiMOO）。离散单码本与文本建模天然对齐，但视觉 tokenizer 的表征容量受限；连续与混合路线保真度高，却把文本与图像放进异质空间、以不同目标优化，导致模态间的优化冲突。本文的判断是：真正的统一要求共享优化空间，而非仅共享骨架。Intern Lumina U2 据此提出首个全离散多码本扩散语言模型：以多码本视觉 token 恢复容量，以扩散并行去噪承担生成，使理解与生成在同一离散词表与同一目标下完成，并把视觉接口扩展到图像、视频与三维。
I. Theoretical Framework & Hypotheses（理论框架与假设）
| 设计维度 | 既有路线的问题 | 本文方案 |
|---|---|---|
| 视觉表示 | 单码本离散：容量不足；连续/混合：异质空间、目标冲突 | 多码本全离散：每个位置一组互补码本，容量恢复且保持与文本同构 |
| 输入接口 | 共享嵌入表会混淆码本身份 | 每码本独立嵌入表，拼接后投影为单一主干 token |
| 输出接口 | 空间与码本维度同为串行则过慢；全并行则丢失码间依赖 | 多码本 AR 头沿码本维度串行、扩散主干沿空间维度并行 |
| 模态结构 | 文本天然序列、图像天然二维，统一建模易违背任一方的归纳偏置 | “空间并行 + 码本串行”分别尊重两种模态的内在结构 |
| 推理效率 | 扩散步数多、缓存陈旧 | 置信度平台引导解掩码 + 漂移触发缓存刷新 |
M. Materials & Methods（材料与方法）
- 模型规模。总参数 16.9B，激活参数 1.4B（稀疏 MoE 式结构）。
- 视觉 tokenizer。基于 AToken 的统一 4D 表示，支持图像、视频与 3D 输入；每个视觉位置由多组互补码本编码。
- 输入接口。每个码本分配独立嵌入表以保留码本身份；各码本嵌入在位置上拼接，再经投影得到单一主干 token，与文本 token 共享同一序列。
- 输出接口。轻量多码本自回归头沿码本维度逐位预测，扩散主干（masked diffusion）在空间维度并行细化全部位置；训练目标为同一离散预测目标下的并行去噪。
- 训练。五阶段训练流程，主模型在 1,024 张华为昇腾 910B NPU 上训练；参考模型在 NVIDIA GPU 上以相同架构与优化配方、较小训练预算独立训练，用于跨平台一致性检验。生成分辨率随阶段由 256 → 512 → 1024 递增。
- 数据质量控制。图像语料先经文本规则（剔除图文不符，英文源 -4.33、中文源 -6.92 个百分点）与美学阈值（全局前 70%，约 74 分）双重筛选，最终英文源保留 46%、中文源保留 45%；各来源按采样重数加权，困难能力给予更高权重。
- 推理采样。稳定性感知采样：置信度平台引导的解掩码（confidence-plateau-guided unmasking）+ 漂移触发缓存刷新（drift-triggered cache refreshing）+ Halton 选择（PHV 配置）。
- 评测。理解侧：ChartQA、CharXiv(DQ)、HallusionBench、MME-C、RealWorldQA、MMMU、MMMU-Pro、MathVista、MathVision，视频三个基准与 3D MM-Vet；生成侧：GenEval、DPG-Bench、UniGenBench、TIIF-Bench、WISE、OneIG-Bench；编辑侧：ImgEdit、GEdit-Bench。全部使用官方评测集与评分协议，推理重基准采用 CoT 提示，视频取 64 帧分段随机采样。
R. Results（结果）
- 图像生成（对标统一模型）。GenEval 89（昇腾／英伟达一致），DPG-Bench 87.79／87.99，TIIF-Bench 87.1／84.8，WISE 0.56／0.59。对照：LLaDA2.0-Uni（16B-A1.4B）GenEval 89、DPG 87.76、WISE 0.68；BAGEL（7B+7B）GenEval 82、DPG 85.07、TIIF 71.7；InternVL-U GenEval 85、DPG 85.18。纯生成模型 Qwen-Image（20B）GenEval 87、DPG 88.32、TIIF 86.8、WISE 0.62。
- 图像理解。ChartQA 86.2／81.2，CharXiv(DQ) 85.9／84.0，HallusionBench 64.6／56.5，MME-C 667／606，MMMU 52.2／55.5，MMMU-Pro 38.3。
- 视频与 3D。三个视频基准均为同类最佳，超过扩散路线的 LLaDA-V 与专用视频模型 VideoLLaMA2；3D MM-Vet 上超过专用模型 ShapeLLM 与 PointLLM。说明单一视觉接口可同时支撑图像、视频与 3D。
- 推理加速。PHV 采样把单图生成从 159.9 秒降至 35.9 秒（4.45×），平均细化步数由 96 降至 60.4，同时 GenEval 由 86.6 提升至 89.3。
- 消融。码本独立输入嵌入提升 next-code top-1 准确率，增益在靠后的码本上最大；多码本 AR 头在四个生成基准上均为最佳，计数、位置与属性绑定三项增益最显著。
- 跨平台一致性。昇腾与英伟达两版模型在生成侧基本持平（DPG 87.79 vs 87.99），理解侧互有胜负，验证了训练配方的平台可移植性。
| 模型 | 参数 | GenEval | DPG-Bench | TIIF | WISE |
|---|---|---|---|---|---|
| Qwen-Image（纯生成） | 20B | 87 | 88.32 | 86.8 | 0.62 |
| LLaDA2.0-Uni | 16B-A1.4B | 89 | 87.76 | – | 0.68 |
| BAGEL | 7B+7B | 82 | 85.07 | 71.7 | 0.52 |
| Intern Lumina U2（昇腾） | 16.9B-A1.4B | 89 | 87.79 | 87.1 | 0.56 |
a / D. Discussion & Conclusion（讨论与结论）
- 范式意义。把“统一多模态”的判据从架构共享改写为表征空间统一：多码本全离散使理解与生成落在同一词表与同一目标下，从原理上消除异质空间带来的优化冲突。
- 设计原则。①码本身份必须显式编码（独立嵌入表）；②生成节奏应匹配模态结构（空间并行、码本串行）；③效率可由采样策略而非缩小模型获得（4.45× 且质量提升）。
- 工程贡献。提供跨昇腾/英伟达两平台的全栈训练、推理与评测系统，并公开了数据质量筛选的量化口径（英文源保留 46%、中文源 45%）。
- 局限。①预印本，尚未经同行评审与第三方复现；②WISE 指标（0.56/0.59）低于 LLaDA2.0-Uni（0.68）与 Qwen-Image（0.62），说明语义对齐/世界知识维度仍有差距；③理解侧部分指标（MMMU 52.2、MMMU-Pro 38.3）低于专用理解模型，统一化仍有代价；④参考模型训练预算更小，跨平台比较并非严格同预算对照；⑤编辑能力以官方基准报告，未给出与最新编辑专用模型的逐项对比；⑥数据配比与筛选阈值披露有限，复现门槛较高。
- 后续方向。多码本离散表示与更强视觉 tokenizer 的结合、在 WISE 类语义对齐基准上的补强、以及把该骨架扩展到音频与动作等更多模态。
🧠 IRMaD 思维导图
mindmap
root((一套词表看图作画))
I 引言
理解与生成用两套表示
异质空间优化打架
单码本容量不够
R 研究问题
多码本怎么进扩散模型
理解生成能否真统一
速度代价怎么补
M 方法
十六点九亿参数
每位置多组码本
独立嵌入表保身份
码本串行空间并行
一千零二十四张昇腾
R 结果
生成评分八十九
文档问答八十六
单图三十五秒
加速四点四五倍
视频三维都超过专用模型
a 讨论
统一是优化空间统一
结构决定生成节奏
效率来自采样
D 结论
从拼装走向同一张表
语义对齐仍有差距
预印本待复现
图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法； 橙色 R 结果；紫色 a 讨论；红色 D 结论。