全带宽 Transformer：用潜在反馈拓宽自回归解码的垂直通道

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

议题源流。自回归 Transformer 的计算沿两条轴展开：横向跨越已生成词元，纵向穿过模型深度。稠密注意力使横向带宽近乎饱和——生成第 t 个词元时，第 ℓ 层状态可读取此前所有位置的缓存表示；纵向则受因果与深度双重约束，可达集合为 R_std(t,ℓ) = {(t',ℓ') : t'<t, ℓ'<ℓ}。这意味着浅层只能看到被部分加工过的历史，而同一批位置更深、更完整的表示虽已算出并驻留于 KV 缓存，却永远无法回流至栈底（作者称之为 depth-frozen），且最深的顶层输出根本不进缓存。

文献空白。解码步之间唯一的回流通道是采样词元本身，每步至多携带 log₂|V| 比特。思维链（Wei et al., 2022；Li et al., 2024b）正是靠把中间状态外化为语言绕开这一限制，代价是模型必须逐词叙述中间态，或在每个位置从零重算。既往拓宽该通道的尝试各有短板：Feedback Transformer（Fan et al., 2020）训练沿词元串行，无法规模化；T²MLR（Cai et al., 2026）与 Latent Recurrent Transformer（Huang et al., 2026）需改动架构，分别引入 5D² 与 L·D² 量级的额外参数，且评测局限于合成状态追踪或非自由生成任务；Coconut、Soft Thinking 等潜在推理工作集中于后训练，且以隐状态替代离散词元，难以监督；PonderLM-2（Zeng et al., 2025）的多遍训练思路最为接近，但其输入长度与 KV 缓存双双翻倍。

本研究贡献。（i）提出潜在反馈解码（latent feedback decoding），以门控线性单元融合上一步顶层隐状态与当前词元嵌入，使可达集合扩张为 R_lf(t,ℓ) = {(t',ℓ') : t'<t, 任意 ℓ'}，而架构、KV 缓存布局、语言建模目标全部不变，仅新增 2D² 参数、每词元开销 <1%；（ii）提出时间并行（temporal parallelism）的多遍前向目标与反馈遍数调度，在保住并行 teacher forcing 的前提下训练这一循环；（iii）在 10 亿参数、最多 4000 亿词元的真实预训练规模上完成验证，并以线性探针给出机制层面的因果线索。

I. Theoretical Framework & Hypotheses（理论框架与假设）

四条理论主张（作者自我设限，构成本文的边界条件）。

• C1 · 增益是计算性的而非信息性的：由于 z_{t+1} 是 x_{1:t+1} 的确定性函数，它不携带上下文尚未决定的任何信息。收益全部来自 F5 的可及性提升，而非新增信息量。
• C2 · 潜在反馈提供隐式草稿纸：状态维护从「仅沿序列轴」扩展到「也沿深度轴」，中间结果可经由 z 在栈内更新而不必延长词元序列，故预测更短的推理轨迹（4.3 验证）。
• C3 · 没有可变寄存器：与 RNN / 状态空间模型每步覆写压缩状态不同，此处过去状态仍完整存于 KV 缓存，每个更早的状态都对当前词元直接可读。它「形式上循环、实质上非覆写」。
• C4 · 解码串行深度不变：开启与否，单步计算图深度均为 O(L)，T 个词元仍为 O(TL)。改变的是通道带宽——一条离散语言通道与一条连续通道并行演化。额外深度只在可选的多遍预填充中购买。

M. Materials & Methods（材料与方法）

• M1 · 架构家族与规模：标准 decoder-only 因果语言模型（非 MoE、非 Diffusion、非 Mamba），10 亿参数量级。24 层，残差维度 D = 1536，前馈块为 6656 维 SiLU-GLU；词表与输出头权重共享，规模 100,352；门控分组查询注意力 16 个 query 头、8 个共享 key/value 头，带 headwise gate 与 QK RMSNorm，RoPE 位置编码，上下文 8192；多数层使用 2048 滑动窗口，每第六层为全注意力；每个残差块前后与最终输出均施 RMSNorm。
• M2 · 新增参数极少：融合仅引入两个 D×D 线性投影，共 2D² 参数，对照 T²MLR 的 5D²、LRT 的 L·D²。因融合保持输入维度 D 不变，架构、KV 缓存布局与服务栈完全未改，解码循环只多两行代码；每词元额外开销 <1%，且与上下文长度和模型深度无关。
• M3 · 并行训练方案（temporal parallelism）：按 F6 递推做 k 遍前向。首遍即普通无反馈前向（h_t^(1) ≡ h_t）；其后每遍将上一遍全部位置的顶层状态右移一位、与词元嵌入融合后全位置并行重跑整栈。k 遍训练的是 k−1 个词元步的反馈跨度，把长度 T 的循环展开压缩为 k 次并行前向，算力约为标准 teacher forcing 的 k 倍。不做梯度截断，后续遍的损失回传至更早遍的隐状态（代价是显存占用上升）。
• M4 · 反馈遍数调度：遍数的选择准则是迭代反馈映射是否抵达稳定不动点——再加遍数既不显著改变隐状态也不改善损失即可停。引入时机上，绝大部分训练用单遍目标，中后期先掺两遍批次、再掺少量更多遍批次，使整条训练线可以从一个普通预训练 checkpoint 起步。
• M5 · 前缀混入（prefix mixin）：推理时序列是异质的（提示词是普通嵌入、生成部分是融合输入），而纯多遍训练里首位置之后全是融合输入，边界处存在分布错配。做法是在每一遍中随机采样前缀长度 p，将 t ≤ p 的位置还原为普通嵌入、只融合后缀。替代方案是对提示词再跑一遍融合预填充；二者对应摘要所称的「预填充成本相同或翻倍」两种口径，本文两者皆支持。
• M6 · 长程稳定性配方：（a）深度缩放（Yang et al., 2024；Noci et al., 2022）使 ‖h_t^L‖ ~ O(1) 而非 O(L)，并对融合输入施 RMSNorm；（b）嵌入与读出层权重绑定，令词嵌入空间与顶层隐状态空间保持同一基底，减轻融合权重学习大幅旋转的负担；（c）抖动噪声（F8），全实验 σ = 0.02。
• M7 · 优化与数据：矩阵参数用 NorMuon（Li et al., 2026），lr = 1×10⁻²、wd = 0.01；其余参数用 Adam，lr = 5×10⁻⁴、不加权重衰减。WSD 学习率调度，200 步 warmup + 25% cooldown 衰减至零；cooldown 期加系数 1×10⁻⁵ 的 z-loss，并按 AdamC（Defazio, 2025）令权重衰减随学习率同步衰减。数据混合沿用 Phi-4 配方，上下文 8192，全局批大小 300K 词元（1T 词元的无反馈基线用 1.2M）。
• M8 · 训练运行与等效算力：等效算力 = 训练词元 × 每批平均前向遍数。

• M9 · 后训练：对 200B 与 400B 两个模型做长上下文扩展（12B 词元，8K → 32K）与指令微调（6B 词元）。因这两段远短于预训练，全程用三遍前向而不套用预训练的遍数调度。
• M10 · 三种解码模式（核心对照设计）：Standard（单遍预填充 + 纯词元嵌入生成，即把全带宽模型当普通 Transformer 用，用于度量反馈训练本身的代价）；Soft（单遍预填充 + 生成位置走 F3 融合，与 Standard 预填充成本相同，每词元只多两次 D×D 乘法）；Fused（提示词先多跑一遍融合预填充再按 Soft 生成，预填充成本翻倍、解码成本不变）。
• M11 · 评测基准：五样本 LM Eval 覆盖 RTE、TruthfulQA-MC2、ARC-Easy、ARC-Challenge、BoolQ、PIQA、WinoGrande、OpenBookQA、COPA、MMLU 共 10 项；自由生成覆盖 GSM8K、MATH-500、HumanEval、MBPP。数学报 Pass@1，代码报 Pass@3（每题 10 次采样估计，温度在 {0.3, 0.5, 0.7} 上按解码模式分别网格搜索，不使用 top-k / top-p）。
• M12 · 机制验证的探针设计：构造配对合成样本，标签完全由共享末尾冒号之前的内容决定，并追加 0/8/32/128/256 次语义空转更新以在不改标签的前提下拉长序列。三类任务——完成度追踪（比较 required 与 completed 两计数器是否相等）、延迟记忆（在无关扰动后回忆初始二元状态）、多寄存器最新写入追踪（查询某寄存器的最近赋值）。在每一层残差流上训练 L2 正则线性分类器，采用四折分组交叉验证（按数对组 / 扰动上下文组整体留出）。样本量：完成度 1,600 例 / 80 组，记忆 1,280 例 / 128 组；寄存器数扫描 m ∈ {1,2,4,8} 时每种预填充条件 3,840 例（统一 padding 到 180 词元）；覆写强度扫描固定 m = 8、每寄存器写 2/4/8 次，各 2,048 例 / 128 组，对应 180 / 276 / 468 词元长度。另设递归后缀控制：只对末尾 k ∈ {1,2,4} 个词元做融合预填充。

R. Results（结果）

R1 · 融合预填充：少量推理算力换到约两倍预训练数据效率（Fig. 4）。横轴为预填充阶段施加的反馈遍数，第 0 步即普通预填充。三点发现：（a）增益前置——绝大部分改善出现在第一遍融合预填充，即顶层隐状态首次出现在输入端之时，此后收益递减，符合「潜在反馈等价于为提示词增加有效深度」的解释；（b）不用也不亏——在第 0 步按普通 Transformer 评测时，全带宽模型相对标准基线只损失极小的验证损失，而平均 LM Eval 准确率已经更高，说明该训练配方对不打算启用融合预填充的部署同样有价值；（c）两遍反馈顶一倍数据——1000 亿词元的全带宽模型达到 2000 亿词元标准基线，2000 亿词元的全带宽模型达到 4000 亿词元标准基线。

R2 · 自由生成：三种解码模式的完整对照（Table 1，长上下文扩展 + 指令微调后，零样本）。

• 关键 delta：400B 全带宽 + Fused 在 GSM8K（71.80 vs 70.13）与 MATH-500（48.40 vs 47.40）上越过了训练量为其 2.5 倍的 1T 词元标准模型；200B 全带宽在四项任务上全面胜过同词元量的 200B 标准基线（最大差距为 HumanEval 的 45.92 vs 37.16，+8.76）。MBPP 上 Fused 已逼平 1T 基线（41.22 vs 41.93）。唯一未追上的是 HumanEval 对 1T 基线（47.60 vs 50.01）。
• 基座模型（Fig. 5，未经后训练）：Soft 在每一项任务、两个训练规模上都优于 Standard，且权重完全相同——增益纯粹来自解码方式。模式偏好随任务而异：数学偏好 Soft（MATH-500 上 200B 模型由 0.27 → 0.37，越过 1T 无反馈基线），代码偏好 Fused（HumanEval 0.31 → 0.34；MBPP 0.38 → 0.40），与「代码更吃提示词的深层表示、数学更吃跨步携带的状态」一致。200B 反馈模型在若干任务上接近或超过训练量为其 2–5 倍的无反馈基线。Pass@3 与 Pass@1 同步提升，说明以隐状态为条件生成没有压垮采样多样性。
• R3 · 反馈遍数调度是稳定性的关键（Fig. 3，1B / 200B 词元）：仅用 75% 单遍 + 25% 两遍训练的模型，在训练深度内表现良好但无法外推——超出该深度后验证损失急剧上升，隐状态增量 ‖h^(k) − h^(k−1)‖ 来回震荡而不衰减，表明迭代已离开训练状态分布。仅掺入 3% 三遍批次（75% / 22% / 3%）即定性改变行为：验证损失在 30 步反馈内保持平坦，隐状态增量衰减至小平台，学到的映射表现为向不动点收敛的压缩映射；在 k = 1000 遍反馈下仍观察到同样的稳定性，上百词元的实际 rollout 亦无崩溃迹象。
• R4 · 更短的推理轨迹（Fig. 6 / 8）：基座模型上 Soft 解码常给出明显更短的推理轨迹，而准确率持平或更好，正是 C2 的预言。但该效应在指令微调后消失；作者归因于微调数据相对潜在反馈解码是 off-policy 的——目标轨迹由标准逐词推理产生并模仿其冗长风格，拟合它等于把冗长文风重新强加回来。建议的补救是在潜在反馈下做 on-policy 后训练，留待未来工作。
• R5 · 带宽的直接机制证据（Sec. 4.4）：标准预填充下，末尾冒号处的第 0 层线性探针准确率接近随机——因 F2 的可达性约束，浅层残差只能读到层级匹配的部分加工前缀。改用一步递归预填充（将前一词元顶层状态按 F4 融入该位置输入）后，第 0 层探针准确率升至完成度追踪 99.6%、延迟记忆 100%。作者同时给出反向警示：可解码性提升不等于输出改善——线性可恢复只证明信息在场，不证明模型用它决定了下一个词元，后者只能由 Sec. 4 的下游成绩回答。
• R6 · 同规模横向对照（Table 2，零样本 LM Eval 平均）：全带宽 1B / 200B 词元在 0 遍反馈下均值 52.66，1 遍反馈下 53.58；对照 OPT 1.3B（300B 词元）49.87、Pythia 1.4B（300B）49.34、EvoLM 1B（320B）52.49、TinyLlama 1B（2T）53.23、Llama3.2 1B（9T）55.31、Qwen3 1.7B（36T）57.30。即以 200B 词元基本追平 2T 词元的 TinyLlama，但仍低于 9T / 36T 量级的现代小模型。

a / D. Discussion & Conclusion（讨论与结论）

• D1 · 理论意义：改写的是自回归解码的信息流结构。本文把「纵向带宽」确立为一个可独立操纵的设计变量：可达集合由 ℓ'<ℓ 放宽为任意 ℓ'，使未被语言化的计算能带着全新的深度预算重入栈底。其直接推论是「语言化」从信息回流的唯一通道降格为可选通道——这动摇了思维链作为串行计算唯一载体的前提，也与 Li et al. (2024b) 关于 CoT 提供串行深度的结论形成互补而非冲突（C4：串行深度未变，变的是带宽）。
• D2 · 训练范式意义：为非线性循环找回并行 teacher forcing。「循环结构无法并行训练」长期是循环模型输给 Transformer 的根因。Mamba / Gated DeltaNet 走的是线性化路线并需与标准层混合；ParaRNN 走的是牛顿迭代解耦路线。本文反向操作——在 Transformer 上构造循环，用 Jacobi 式多遍更新把「跨 T 个位置的顺序性」换成「跨 k 遍的顺序性」，并以遍数调度把成本压到可承受。「3% 三遍批次即把发散迭代变为收敛到不动点」这一发现，其价值超出本文本身：它提示算力昂贵的辅助目标可以只在训练后期少量引入。
• D3 · 消融与设计论证：（a）融合形式——作者论证对称的 e_t + W·h_{t-1} 会留下退化捷径（压制状态通路即可恢复普通词元输入并达到原预训练损失，宽通道形同虚设），尤其当训练自标准 checkpoint 起步时诱惑最大；F4 的乘性门使读取状态成为强制项；（b）反馈层选择——引用 Feedback Transformer 的消融佐证取顶层是对的（仅取最顶层几乎等同全层混合，取首层则不优于标准 Transformer）；（c）遍数调度见 R3；（d）解码模式三分对照见 R2；（e）前缀混入 vs 双遍预填充两条路线均被实现并对应不同的预填充成本口径。
• D4 · 与并行工作的差异：T²MLR、Latent Recurrent Transformer 在训练手法与动机上相近，差异在再注入的位置——本文的注入发生在模型外部（只改输入的构造方式），故零架构改动，且额外参数最少（2D² vs 5D² vs L·D²）；更大的差异在实证范围：本文做到 4000 亿词元预训练并验证真实推理时的收益，而 LRT 只做非自由生成评测、T²MLR 只做合成状态追踪与数学语料微调后的 GSM8K。相较 PonderLM-2，本文不加长输入、不加大 KV 缓存。相较 loop transformer，本文在解码时不重复调用整栈，只复用已算出的顶层状态加一次轻量融合。作者的坦白：鉴于诸法「精神相似」，究竟哪种隐状态回灌形式在大规模下最优仍不清楚，他们没有资源验证。
• D5 · 局限（作者自陈两条 + 本文观察）：（i）规模止于 10 亿参数，未在更大模型上验证——作者推测更深模型的顶层状态更丰富、收益应更大，但这是推测；（ii）遍数调度基于启发式，循环训练阶段的长度与反馈步数缺乏原则性判据，建议引入 Zeng et al. (2025) 的 Jacobi 迭代收敛诊断；（iii）多遍训练不截断梯度，显存占用上升，长序列训练的可扩展性未讨论；（iv）Fig. 4–8 的具体数值多由正文叙述转述，图内读数未公开。
• D6 · 实践启示：由于不改架构、不改 KV 缓存、不改语言建模目标，潜在反馈可被任何现成 Transformer 继承；作者已给出 vLLM 适配方案——沿用 EAGLE / MTP 的设计模式，把每个请求最新的主干隐状态就地复制进固定地址的持久缓冲区，使 CUDA graph 能捕获融合门；patch 过的 GPUModelRunner._model_forward 以请求 ID 为键保存 detach 后的隐状态，用 query_start_loc 把打包行映射回请求并清理已完成请求。与 EAGLE / MTP 的本质差别是：状态回灌进模型自身以定义真实的下一词元分布，而非送给独立的草稿模型。对算力充裕而高质量语料见底的团队，这是一条以训练算力换数据的可行路径。
• D7 · 结论：全带宽 Transformer 表明，自回归解码步之间的通道不必被压缩成单个词元。以 2D² 的参数代价与每词元 <1% 的开销，换来相当于 1.5–5 倍训练词元的效果、更短的推理轨迹，以及一个可并行训练的循环结构。它同时打开了一条新的扩展轴——在同一份独特语料上花更多计算——在高质量数据、GPU pod 规模与墙上时钟共同构成硬约束的当下，这条轴的价值只会上升。