arXiv 预印本 · 香港中文大学(深圳)SAGA Lab · 把生成顺序做成可学习变量 · 单次训练内完成学序与自回归训练 · 语言/姿态/表格三模态验证

OrderGPT:把生成顺序当作可学习的建模选择

Chenhe Yang, Yuhuan Lyu, Tianyang Hu · arXiv 预印本 (cs.LG) · 2026 · arXiv: 2610.25949
原题:OrderGPT: Generation Order as a Learnable Modeling Choice
Open Access 新颖度 0.87

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

你有没有注意过,同样是「把一件事说清楚」,写作文要从左到右一行行写,画人像却常常先画轮廓、再补五官、最后修细节。生成数据其实也有这个「先写哪一块」的问题。

现在最火的大模型走的是第一条路:从左往右,一个词一个词地往外蹦,这叫自回归。好处是每一步都能看到前面所有内容,坏处是顺序被写死了。另一条路叫掩码扩散:先把整句话盖住,再随便挑位置一个个揭开,哪个位置先揭都行。它灵活,但代价是模型要在很多种顺序上「平均用力」。

作者说,这两条路其实是同一根轴的两端,这根轴叫「生成顺序」。对文字来说,从左到右很自然;可对人体姿态(一百多个关节点,先算手还是先算脸)或者表格(几十列,先算收入还是先算职业)来说,根本不存在一个天然的顺序。

这时候两端都可能不是最优:死守一个顺序,可能把关系很远的变量排在一起;完全随机,又会让模型把力气浪费在特别难的预测上。中间那个「为这类数据专门挑一个好顺序」的选项,此前几乎没人系统做过。

② 研究问题(要回答什么?)

这篇论文想弄清楚一件事:能不能让模型自己学出一个顺序,而不是由人来指定?

拆开来看是三个小问题:

还有一个隐含的要求:不能靠标准答案。语言可以拿「从左到右」当参考答案,但姿态和表格根本没有这种答案,方法必须在没有监督的情况下也跑得通。

③ 研究方法(怎么做的?)

作者的做法分三步,可以类比成「观察一个学生的眼睛往哪看 → 画一张关系图 → 排一条队」。

第一步,随便顺序地练。底座叫任意顺序 GPT(AO-GPT):同一个解码器,你给它什么顺序它就按什么顺序预测,每个位置该预测哪个变量,是通过一层归一化里的位置嵌入告诉它的。先用完全随机的顺序训练一阵。

第二步,看注意力。模型预测某个变量时,会给已经出现的变量分配注意力权重。作者发现:换不同的前缀、不同的顺序,它反复去看的还是那一批变量。这种「反复」就是依赖关系的证据。他们把大量样本、大量随机顺序下的注意力按变量对齐后求平均(还做了曝光校正,避免出现次数多的配对占便宜),得到有向矩阵 A;再用几何平均 W=√(A_ij·A_ji) 得到一张互惠图——只有双向都强的关系才算数。

第三步,谱教师排座位。把互惠图看成一张关系网,给每个变量在这根线上安排坐标,让关系强的挨得近。这在数学上就是求图拉普拉斯矩阵的第二小特征向量(Fiedler 向量),把坐标从小到大排就是候选顺序。可一条线有两个方向,于是再用有向注意力投票:后面预测时更常回头看前面的那个方向胜出。

最后是把它塞进网络。作者加了一个很小的 OrderMLP(两层各 32 宽的小网络),输入注意力矩阵,输出每个变量 0 到 1 的优先级,用谱教师的结果当老师,注意力那一侧不回传梯度。之后训练进入课程:先用随机顺序热身,再慢慢提高使用学到的顺序的概率,期间小网络可以刷新候选,最后把顺序冻结,当成普通 GPT 继续训练和生成。全部在一次训练里完成,不需要另起炉灶。

④ 结果(发现了什么?)

作者在三个差别很大的场景里试:文字、人体姿态、表格。

语言
五个测试集困惑度全降
自己学回从左到右 τ=0.997
姿态
整身误差 79.44 毫米
对手 115.23 毫米
表格
最大查询误差 2.33
对手 10.50

文字:约 1.25 亿参数的模型在 OpenWebText 上训练。学出来的顺序和人类习惯的从左到右几乎一致(Kendall τ=0.997),可没有任何人告诉它应该这样。五个测试集的困惑度(越低越好)全面低于同样预算的基线:LAMBADA 50.962 对 69.345,WikiText-103 39.217 对 55.635,1BW 70.046 对 90.168。

更有说服力的是两个对照。其一,只把推理顺序换成从左到右,同一个模型反而更差(LAMBADA 70.262)——说明收益不是「换个顺序读数」这么简单。其二,用同样的课程表但结尾是一个固定的随机顺序,也只到 67.690——说明关键在于顺序本身学对了。

姿态:133 个三维关节点,给一部分二维观测,要补全整个身体。学出来的粗粒度顺序是脸 → 身体和脚 → 手,而数据集原本的编号是「身体 → 脸 → 手」。每个关节的负对数似然 -11.30(基线 -10.59),整身误差 79.44 毫米(基线 115.23),手部误差 30.03 毫米(基线 38.18)。

表格:美国人口普查数据,245 万行、68 列。学到的顺序把统计上相关、语义上也相邻的字段放在一起,局部性得分 17.91(原始列序 23.17,随机期望 23.00)。密度估计 325.488(基线 332.665);最差的查询误差从 10.50 降到 2.33。

还更快:顺序一旦冻结,就不用每次重算特征向量,小网络前向加排序即可,单次迭代耗时比谱教师低 21.3%(190.992 毫秒对 242.727 毫秒)。

⑤ 讨论(这些发现说明什么?)

为什么「选对顺序」会有这么大差别?作者给了一个很好懂的类比:模型最后输出那一层是共享的、容量有限的,可以想成一个只有几个旋钮的调音台。如果顺序沿着数据的依赖链走,每一步只需要处理「邻居 → 我」这种简单关系,几个旋钮就够;如果顺序跳过了中间变量,模型等于要直接背下「隔着一个人,A 和 C 是什么关系」,就得用多得多的旋钮。

他们把这个直觉做成了定理:在一条链式依赖上,顺着链走(或反着走)只需要 2 个特征就能精确表示;而一旦顺序跳着来,就需要至少 V−1 个。于是「所有顺序平均」的最优损失,必然比「选对顺序」高出一点——这个差距在数据无限多、拟合最优的情况下依然存在。

不过作者也很克制地划了边界。注意力只是模型自己的看法,不是因果,也不是真实的数据生成机制;它依赖于模型当前的状态和当时用的随机顺序策略。学到的还是一个全局顺序,所有样本共用——如果不同样本的依赖结构差异很大,这个顺序就会变成束缚。另外,理论只保证「表示能力」上存在差距,不等于训练一定能找到那个好顺序。

⑥ 结论(最终结论 + 启示)

一句话总结:生成顺序不该是硬编码的假设,而可以是模型自己学出来的变量。

这篇论文给出了一个具体可行的做法——从注意力里读出依赖、用图的方法排成一条线、用小网络把这条线学进架构、冻结后当普通 GPT 用。它在语言上自己走回了从左到右,在姿态和表格上走出了与人工编号不同的顺序,而且都变好了。

更有意思的是它改变了问题的提法:过去几年,自回归和扩散被当成两条对立的路线,大家在「质量换速度」的曲线上挪来挪去。OrderGPT 说,它们其实是同一根轴的两个端点,中间还有一整段没人走过的路。把顺序变成可学习的东西,意味着同一个解码器可以适配不同模态,而不必为每种数据重新设计一套生成方式。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

自回归生成模型把联合分布写成 p_θ(x|c;π)=∏_{t=1}^{D} p_θ(x_{π_t}|x_{π_<t},c)。链式法则本身对置换 π 不加任何限制,但在有限容量下,顺序决定了每一步可见的上下文、条件预测的难度以及生成时误差传播的路径(Bengio et al., 2015),因此它是建模选择而非实现细节。这一形式已扩展到视觉 token、人体姿态、表格与图等结构化域。

现有方法占据设计空间两端。GPT 类自回归模型承诺单一规定分解,通常是语言的 L2R 顺序;当该顺序与数据结构吻合时,它提供强归纳偏置,使容量集中于稳定的预测问题族。掩码扩散模型(SEDD、MDLM、LLaDA 等)从任意观测子集重建被掩码变量,不指定规范遍历,其目标可解释为对随机 reveal 置换取平均的任意顺序自回归训练(Ou et al., 2025; Xue et al., 2025);代价是把有限容量摊到许多难度不等的分解上,且不识别一个稳定的、可用于训练与生成的顺序。

空白正在中间:对没有自然一维遍历的结构化离散域,两端都可能次优,而「学习单一任务级顺序」这一选项基本未被探索。其困难有三:搜索空间是阶乘级;规范顺序监督通常不可得;最有用的分解可能随模型演进而变化。近邻工作 LO-ARM 把排序视为隐变量、学习状态相关的顺序策略并与似然联合优化;Path Planning 在采样期做自适应解码规划;二者都引入逐样本的顺序决策。

本文贡献:(1)观察到从随机 reveal 前缀预测变量会在主干中产生重复的注意力模式,可作为模型依赖的预测依赖信号;(2)提出 Spectral Teacher,以互惠图、图拉普拉斯 Fiedler 向量与有向注意力定向把该信号转为连续生成优先级;(3)以轻量 OrderMLP 蒸馏该信号并嵌入 GPT 主干,在单次训练内完成学序—退火—冻结—自回归训练;(4)在语言、人体姿态、表格三模态验证,并给出有限容量下的顺序分离定理与谱恢复条件。

I. Theoretical Framework & Hypotheses(理论框架与假设)

出发点:把顺序当作显式建模变量。给定 D 个目标变量、可选条件 c 与置换 π,顺序条件分解为 p_θ(x|c;π)=∏_{t=1}^{D} p_θ(x_{π_t}|x_{π_<t},c)。AO-GPT 的任意顺序目标为 L_AO(θ)=E_{(x,c)}E_{π~q_AO}[−Σ_t log p_θ(x_{π_t}|x_{π_<t},c)],标准设定下 q_AO 为全部 D! 个置换上的均匀分布;离散情形下该目标与标准掩码扩散训练目标在公式层面等价。本文学习的是单一任务级置换 π*,而非逐样本的顺序策略或顺序分布。

命题结论条件与边界
Thm A.1 有限容量顺序分离在共享 softmax 输出类 F_C 下,链式顺序 ρ 及其逆序可达 H(P)/D(仅需 2 个特征);均匀随机顺序的最优风险至少高出 Γ_C=ℓ_C/(D²(D−1))>0D≥3、V≥4、2≤C≤V−2;构造为严格正、平稳可逆的一阶马尔可夫链;以 (ρ₁,ρ₃) 开头的顺序至少需 V−1 个特征(中心化对数核秩为 V−1)
Thm A.2 谱恢复Fiedler 向量升序排序可在至多反向下恢复 ρ图对齐假设 Ŵ=αW_ρ+β(11ᵀ−I)+E,且 η/α < min{g_ρ/4, m_ρ·g_ρ/(8√2)}(Davis–Kahan)
Prop A.2 排序保真MLP 输出降序排序复现教师顺序‖r̂−r‖∞ < Δ_r/2,充分条件为 MSE < Δ_r²/(4D)
Thm A.3 优势保持R_AO,C*(P) − R(q̂,π̂) ≥ Γ_C − ε_fit需对齐、恢复、蒸馏条件成立,且拟合误差 ε_fit < Γ_C

关键直觉:容量瓶颈设在共享输出接口——所有预测共用一个 C 维 softmax 特征层,而完整前缀仍可见(softmax bottleneck 视角)。沿依赖链走时每次只需表示局部一步条件;跳过中间变量的顺序则要求对未揭示状态做边际化,得到长程条件。AO 目标是在同一预测器上对所有顺序取平均,故必然以正概率遇到困难子问题,产生不可消除的损失间隙。

M. Materials & Methods(材料与方法)

R. Results(结果)

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((生成顺序可学习))
    I 引言
      自回归固定从左到右
      扩散平均所有顺序
      两者是同一根轴两端
      结构化数据无自然顺序
      中间的单一路径未探索
    R 核心命题
      顺序是建模变量
      容量有限时顺序有差
      链式顺序两个特征够用
      跳序需更多输出特征
      随机顺序存在正间隙
    M 方法
      任意顺序解码器骨架
      注意力聚合成有向矩阵
      互惠图取几何平均
      拉普拉斯取费德勒向量
      小网络蒸馏优先级
      冻结顺序再自回归训练
    R 结果
      语言学回从左到右
      五个基准困惑度全胜
      姿态学到脸身手的顺序
      手部误差降到三十毫米
      表格最大误差降四倍
      顺序刷新快百分之二十一
    a 讨论
      不是二选一而是中间点
      注意力只是模型内信号
      全局顺序适合稳定依赖
      样本差异大时会受限
    D 结论
      顺序可作为学习目标
      无需标准顺序监督
      一次训练内完成
      可迁移到其他模态

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。