文本到图像生成无需语言预训练：Halcyon 从零训练范式

🧒 初中生也能看懂的版本

① 研究背景（为什么要做？）

你有没有玩过那种“打字出图”的软件？输入“一只戴墨镜的柴犬在沙滩上冲浪”，几秒钟就跳出一张画。这类系统叫文本到图像生成（text-to-image，简称 T2I）。过去几年，它们几乎都走同一条路：先让一个巨大的语言模型把人类写过的文字读一遍，学会词与词之间的关系，再把这个“懂语言的大脑”接到画图模块上。这个前置步骤叫语言预训练，读的往往是几十万亿个词。

听上去很合理：想画得准，先得听懂话。于是大家越做越大，语言模型动辄吃掉 10¹² 到 10¹⁴ 个文本 token。论文算了一笔账：在典型的 T2I 系统里，语言预训练占总预训练算力的 80% 以上，而很多团队报成本时只报画图那部分，等于把最大的一笔开销藏了起来。

更尴尬的是，这笔钱到底值不值，一直没人认真验证。有研究发现换个更强的语言编码器确实有好处，也有研究发现几乎没用。于是作者提出一个有点离经叛道的问题：如果压根不单独学语言，直接从“图片配文字”的配对里学，能不能画出一样好的图？

② 研究问题（要回答什么？）

这篇论文要回答三个层层递进的问题。

第一，语言预训练到底贡献了多少？把同样的图片生成器配上大小差十倍以上的语言编码器，画质会差多少？把训练预算切一块出来专门读纯文字，画质又会怎样？

第二，训练数据的配比和顺序会不会有影响？先读文字再学画图、先学看图说话再学画图、两种任务混着来，在总预算相同的前提下，哪种更划算？

第三，一个完全从零开始、没碰过纯文本语料的模型，能不能打赢背靠语言大模型的对手？如果按总预训练算力来比，能便宜多少倍？

还有一个顺带的问题：能不能让它在不多花预算的情况下，顺便学会“看图说话”（图像描述）？

③ 研究方法（怎么做的？）

作者的办法可以想成搭一套统一的乐高。图片先被切成积木：一个自己训练的图像编码器把 256×256 的图压成 32×32 的小格子，每格用一个编号表示，一张图正好 1,024 块积木。文字也被切成积木：一个从零训练的字节级分词器，词表只有 16,384 个，比常见大模型小得多。两类积木加上特殊符号，装进同一个 80,640 格的盒子里，模型不需要区分“这是文字还是图像”，它只做一件事——猜下一块积木是什么。

这个模型叫 Halcyon，是“早融合”的多模态自回归模型：文字和图像从一开始就在同一条序列里排队。作者训练了五个尺寸，从 0.1B、0.25B、0.52B、1.6B 一直到 4B 参数，全部在 GPIC 数据集（约 1 亿对图文，256×256）上只跑一个 epoch，没用任何外部纯文本语料。

光有模型还不够，关键是做对照实验。作者设计了五种数据配方：只练画图；先读纯文字再练画图（把 10%、20%、50% 的预算花在纯文本上）；先练看图说话再练画图；两种任务混着练；以及把“随机丢掉字幕”换成“看图说话”。同时把 LlamaGen（自回归）和 JiT-T2I（扩散）两个强基线搬到同一份 GPIC 上，用同样的预算重新训练，再把语言模型、图像生成器、图像分词器三部分的算力全部加总来比。

④ 结果（发现了什么？）

结果相当干脆：不读纯文本，也能画得很好，而且更便宜。

Halcyon-0.52B
gFD 48.0
对手 LlamaGen-XL/8：63.3
算力省 18.2 倍

Halcyon-1.6B
gFD 35.3
对手 JiT-T2I-XXL/8++：41.0
算力省 275 倍

Halcyon-4B
gFD 28.4
GenEval 56.4（对手 43.2）
DPG-Bench 77.9（对手 76.9）

这里的 gFD 是“生成弗雷歇距离”，衡量生成图和真实图的分布差多远，越低越好。五个尺寸排成一条漂亮的下降曲线：144.2 → 72.6 → 48.0 → 35.3 → 28.4，说明这套从零训练的配方可以正常扩展。

最关键的是一组“故意浪费预算”的实验。把 10%、20%、50% 的训练量拿去除读纯文字，画质反而从 48.0 掉到 51.6、52.8、65.1；就算额外补一个完整的画图 epoch（总计算量变成 1.5 倍），也只得到 49.2，没有任何改善。另一个实验更直接：拿一个已经读了 36 万亿个文本 token 的 Qwen3-0.6B 继续训练，gFD 是 47.8；而同样结构从随机初始化开始，是 46.6——读了那么多书，反而略差。

语言编码器的大小也一样。把 FLAN-T5-XL 换成小 11 倍的 FLAN-T5-Base，语言预训练算力少了 13.5 倍，画质只从 63.3 变到 66.7，差得微乎其微。

至于“看图说话”，把它当成额外任务塞进去并不划算：分 50% 预算时，先学后画是 54.2，混着学是 76.0，都比不上 48.0。但如果只是把本来要丢掉的那 10% 字幕换成图像描述序列，预算一分不多，画质基本不变（0.52B 从 48.0 变 46.5），描述能力却从几乎为零涨到对齐分 0.559（真实图文的参考值是 0.891）。

⑤ 讨论（这些发现说明什么？）

为什么会这样？作者给了一个很朴素但关键的解释：会预测下一个字，不等于会预测下一块图像积木。

纯文本预训练优化的是“在没有图的情况下猜文字”，也就是 p(文字)。而画图需要的是“给定文字，猜图像积木”，也就是 p(图像｜文字)。更要命的是，图像积木的编号是另一个模型自己定的，只有 64,000 个格子，和语言里的词没有任何天然对应。你在语言上学得再好，也不知道第 3,812 号积木长什么样、该在什么时候出现。这就像一个人把菜谱背得滚瓜烂熟，但厨房里的食材全被贴上了随机编号——他知道“先爆香”，却不知道该拿哪一袋。

反过来，Halcyon 在配对数据里同时学两件事：一边建立“词和词的关系”，一边建立“词和积木编号的关系”，两边共享同一套参数，反而对画图更有用。作者也提醒，他们的实验并没有把“联合训练”本身的好处单独拆出来，这是后续可以补的一环。

另一个值得注意的现象是引导强度。分类器无关引导（CFG）是一种“把生成结果往提示词方向推”的技巧，推得越猛，图越贴题但也越容易过饱和。模型从 0.1B 长到 4B，最佳引导强度从 7.5 一路降到 4.5，大模型自己就更“听话”，不太需要外力硬掰。

局限也很清楚：所有实验都在 256×256 的 GPIC 上；配比实验只在 0.52B 上做；受控干预集中在自回归模型，扩散式的 Transfusion 没测；分辨率和数据集一换，结论是否成立还要再看。

⑥ 结论（最终结论 + 启示）

结论可以浓缩成一句话：强大的文本到图像系统，可以完全从零训练，不需要互联网规模的语言预训练。作者给出的配方很朴素——自训图像分词器、自训小词表文本分词器、一张联合词表、一个 decoder-only 自回归模型、一亿对图文、一个 epoch。

这件事有两层意义。第一层是算账方式：以后比较 T2I 系统，应该把语言、分词器、生成器的预训练算力全部计入，否则“便宜”可能只是把账挪到了看不见的地方。第二层是门槛：训练强生成模型的成本大幅下降，更多实验室和小团队能参与，但作者也在伦理声明里直言，这会同时降低恶意使用的门槛。

更长远看，如果语言预训练不是多模态生成的必需品，那么视频生成、生物序列、蛋白质结构等“一个模态配一段文字”的场景，都值得重新问一遍同样的问题。

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

现代 T2I 系统几乎都把互联网规模的语言预训练当作语义条件的默认底座，分两条路线：晚融合先用纯文本预训练语言模型，再以 cross-attention 条件化独立图像生成器（Imagen、PixArt-α 用 T5，SANA 用 Gemma-2B，LlamaGen 用 FLAN-T5）；早融合去掉独立文本编码器，但在多模态模型中保留纯文本预训练（Chameleon、Transfusion、Emu3 联合训练，Tuna-2、SimpleAR 从 Qwen 初始化）。语言预训练占这些系统总预训练 FLOPs 的 80% 以上，却常被排除在成本报告之外。

既往证据是分裂的：Imagen 报告扩大文本编码器有益，Parti 仅观察到边际收益，Zhang et al. (2024) 则指出预训练语言模型对自回归 T2I 无帮助。这些工作混入了图像表征、序列长度、感知损失等混杂因素，也未在统一预算下做配比干预。本文贡献：(1) Halcyon，完全从零训练（文本分词器、图像分词器、生成器全部自训）的早融合自回归家族（0.1B–4B）；(2) 在固定预算下操纵纯文本、T2I、I2T 的配比与调度，量化语言预训练的边际效用；(3) 以总预训练 FLOPs 为横轴，与重训后的 LlamaGen、JiT-T2I 等数据、等分辨率比较，并给出以 I2T 替换 caption dropout 的零成本多任务配方。

I. Theoretical Framework & Hypotheses（理论框架与假设）

论文以三条可证伪命题组织实验。理论依据是把 T2I 拆成两个分布：纯文本预训练优化 p(T|∅)，T2I 需要 p(I|T)，而图像 token 由独立分词器产生。若表征可迁移，语言预训练应带来正增益；若图像码本的任意性使迁移失效，增益应趋近于零。

编号	研究问题	实验对照	判据
RQ1	语言预训练的边际贡献	T5-XL vs Base（13.5× 语言算力差）；staged 语言→T2I（α=0.1/0.2/0.5）；Qwen3-0.6B 随机初始化 vs 36T token 持续预训练	gFD 与 `NLL(I\|T)` 是否随语言算力改善
RQ2	I2T 作为独立任务是否助益	staged 与 mixing（β/η=0.1/0.5），token 预算逐项对齐	同预算 gFD 是否低于 48.0
RQ3	能否零成本获得描述能力	caption dropout（`p_drop=0.1`）换成 I2T（`p_drop=0`, `η=0.1`）	图像 token 数不变下 gFD/GenEval/DPG 不降、caption NLL 大降

RQ3 的依据：CFG 的无条件分支即丢字幕后的 [SOV] x [EOV] 前缀，I2T 复用该前缀，替换不改变条件与无条件图像 token 的配比。

M. Materials & Methods（材料与方法）

架构：decoder-only Transformer（Qwen3 同构）的早融合多模态自回归模型；联合词表 80,640（16,384 文本 + 64,000 图像 + 256 特殊），embedding 与输出头共享。五档 96M–3.84B，0.52B 为 28 层、hidden 1,024。
图像 tokenizer：Cosmos encoder–decoder + FSQ（码本 64,000），8× 下采样，256×256 → 1,024 token；重建 rFD 18.86，优于 Cosmos-DI-8x8（37.93）。
文本 tokenizer：byte-level BPE，词表 16,384，在 GPIC 字幕与 OpenWebText 上从零训练；压缩 4.774 bytes/token，接近 Qwen3、优于 FLAN-T5。
序列与目标：四种序列 T / I / I2T / T2I，序列长 1,280，图像段 [SOV] x1…x1024 [EOV]，字幕上限 254；L = (L_text + λ_img·L_img)/M，λ_img=0.5；CFG 以 p_drop=0.1 训练无条件分支，ℓ_cfg = ℓ_u + γ(ℓ_c − ℓ_u)。
训练：GPIC 约 1 亿图文对、256×256，1 epoch、97,632 步、batch 1,024、WSD、AdamW、bf16。
受控配比：baseline 纯 T2I；staged 语言→T2I（α=0.1/0.2/0.5，及 1.5× 算力 † 版）；staged I2T→T2I（β）；mixing T2I+I2T（η）；mixing 关闭 caption dropout（η = p_drop = 0.1）。
基线、评测与记账：LlamaGen（T5-XL 1.22B + 0.90B）与 JiT-T2I（Qwen3-1.7B + 1.10B），统一为 1,024 图像序列并重训一 epoch。评测 GPIC Test-50K（gFD）、GenEval、DPG-Bench 与四类 NLL。总算力 = 语言 + 生成器 + tokenizer，Halcyon 语言项仅计字幕 token（15%–19%）。

R. Results（结果）

主结果：Halcyon-0.52B 达 48.0 gFD（LlamaGen-XL/8 为 63.3），总算力 5.33×10²⁰ vs 9.68×10²¹，18.2× 更省；1.6B 达 35.3（JiT-XXL/8++ 41.0），1.34×10²¹ vs 3.68×10²³，275× 更省。
组合生成与规模：0.52B 的 GenEval 44.91 已超 JiT（43.17），DPG 76.84 打平；1.6B 领先（53.48；77.90）；4B 达 56.39 / 77.90；gFD 随规模从 144.16 降至 28.43，CFG 由 7.5 降至 4.5。
语言预训练消融：0.52B 上 α=0.1/0.2/0.5 的 gFD 为 51.56 / 52.76 / 65.13，均劣于 48.02，NLL(I|T) 同步上升；补足完整 T2I epoch（1.5× 算力）仍为 49.22。Qwen3-0.6B-CPT（36T 文本 token）47.81 vs 随机初始化 46.61；降低 peak LR 恶化为 63.62。
语言编码器规模：T5-XL → Base（语言算力降 13.5×）使 gFD 仅 63.29 → 66.69。
I2T 消融：η=0.1 时 staged 48.35、mixing 48.18，与 baseline 持平；η=0.5 时 staged 54.22 优于 mixing 75.97，但均不如 baseline；mixing 把 NLL(T|I) 从 20.437 压到 1.009。
caption dropout → I2T：各规模 NLL(T|I) 降一个数量级以上（0.52B 18.414 → 1.102），gFD 基本持平（48.02 → 46.48；35.28 → 35.91），描述对齐分 0.090 → 0.559（真实图文 0.891）。

模型	语言模型	gFD↓	GenEval↑	DPG↑	总预训练 FLOPs	语言占比
LlamaGen-XL/8	T5-XL 1.22B	63.29	30.48	67.08	9.68×10²¹	93.6%
JiT-XXL/8++	Qwen3-1.7B	40.97	43.17	76.85	3.68×10²³	99.8%
Halcyon-0.52B	无	48.02	44.91	76.84	5.33×10²⁰	15.0%
Halcyon-1.6B	无	35.28	53.48	77.90	1.34×10²¹	17.9%
Halcyon-4B	无	28.43	56.39	77.90	3.08×10²¹	19.0%

a / D. Discussion & Conclusion（讨论与结论）

机制：纯文本预训练优化 p(T|∅)，与 T2I 所需的 p(I|T) 之间存在独立图像分词器引入的“码本鸿沟”——64,000 个 FSQ 码字与词表无共享语义结构，语言侧的强表征无法回答“该发哪一号图像 token”。随机初始化 Qwen3 在训练全程取得更低图像 NLL（附录 Figure 10）为旁证。保留意见：Halcyon 的增益来自联合训练，但实验未把“联合训练 vs 先语言后视觉”彻底正交化。
文献一致性：与 Parti 的边际收益、Zhang et al. (2024) 的“预训练语言模型不助益自回归 T2I”一致；本文首次在统一数据、序列长度、感知监督与完整算力记账下验证，并扩展到早融合与 4B 规模。
启示：(1) 比较 T2I 应报告语言 + 生成器 + tokenizer 的总预训练 FLOPs，否则“高效”可能只是成本转移；(2) 早融合配自训小词表（16,384）足以支撑条件生成；(3) caption dropout 可被 I2T 替代，零额外预算获得图像描述能力；(4) CFG 随规模减弱（7.5 → 4.5）。
局限：仅在 GPIC（约 1 亿对，256×256）验证；配比干预固定 0.52B，初始化对照用 0.6B；受控干预集中于自回归模型，Transfusion 式架构未覆盖；描述对齐 0.56 仍低于真实图文 0.89；降低训练门槛亦降低滥用门槛，并继承 GPIC 偏差。
结论：强 T2I 能力可直接从配对图文习得，语言预训练并非必要；作者建议重审视频生成与生物序列中模态专属预训练的角色。算力由 Radical Numerics 提供，代码与权重公开。

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论

mindmap
  root((从零训练文生图))
    I 引言
      文生图依赖语言预训练
      语言占算力八成以上
      晚融合与早融合两条路
      预训练贡献未被量化
      早期模型曾直接学配对
    R 问题
      语言预训练是否必要
      数据配比如何影响画质
      总预训练算力怎么记
      I2T 能否替代丢字幕
    M 方法
      早融合自回归模型
      参数0.1B到4B
      GPIC 一亿图文对
      图像词表六万四千
      文本词表一万六千
      联合词表八万零六百四十
    R 结果
      0.52B 48.0
      1.6B 35.3
      4B 28.4
      对手LlamaGen 63.3
      算力省275倍
      GenEval 56.4
    a 讨论
      文本预训练无增益
      语言算力大收益小
      文本分布不等于图像分布
      CFG随规模下降
      长字幕效果更好
      I2T兼顾图像描述
    D 结论
      强文生图可零预训练
      预训练算力须全计入
      训练门槛显著下降
      可推广到视频生成

图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法；橙色 R 结果；紫色 a 讨论；红色 D 结论。