Trion-1：用扩散语言模型把语言、蛋白序列与结构装进同一个模型

🧒 初中生也能看懂的版本

① 研究背景（为什么要做？）

你可能听说过 AlphaFold 能预测蛋白质的三维形状。但生物学里的任务远不止这一件：还要根据结构反推序列、根据功能写出一段新序列、读懂一段序列在干什么。
过去这些任务各有各的专用模型，就像一个厨房里切菜的、炒菜的、摆盘的各用一套工具，彼此不通用。要把它们串起来，通常得靠"外挂"：一个模型输出数字，再喂给另一个模型。
作者想做的事更激进：能不能让一个模型，同时把自然语言、蛋白质序列、蛋白质三维结构都当成"一种语言"来学？

② 研究问题（要回答什么？）

核心问题有三个：
① 三种差别巨大的数据——文字、氨基酸串、三维坐标——能不能被塞进同一套词表，让一个模型直接处理？
② 如果用扩散式（先遮住一部分、再一步步补全）而不是逐字往后写，模型能不能同时擅长"理解"和"生成"？
③ 这样一个统一模型，在折叠、设计、问答等六项任务上，能不能打平甚至超过专用模型，同时还不丢掉原本的语言能力？

③ 研究方法（怎么做的？）

作者的做法可以概括成"统一符号 + 分块补全"。
统一符号：他们把蛋白质序列的氨基酸、以及经过量化的三维结构，都变成额外的"词"，直接扩充进语言模型原有的词表。于是文字、序列、结构在模型眼里都是同一串符号，不需要为每种模态单独装一个编码器。
分块补全：普通语言模型是从左往右一个字一个字写；这里改成把一段内容先遮住，让模型在块内双向看上下文、再一起补出来。三维结构最怕"只能看前面"，双向注意力正好适合。
三步训练：先做自回归的继续预训练打底，再逐步把块大小从 8 扩到 16、32 转向扩散训练，最后做指令微调，让模型学会按任务要求输出。

④ 结果（发现了什么？）

这个模型只有 4B 参数，但成绩不俗。
折叠：在严格同源控制的测试里，单次采样就把主链 TM-score 做到 0.8 以上（TMbb 0.84），而此前同类三模态模型要用 200 倍的采样预算才能达到相近水平；在 PDB 时间切分上，氨基酸级 TMaa 从对比模型的 0.60 提升到 0.86。
理解：通用生物问答准确率 62.16%，和 Claude Opus 4.7 的 62.37% 基本打平；只看主链结构的 StructureMCQA 达到 76.72%。
设计：序列设计成功率 84.14%，生成结构的可折叠性 pLDDT 达 71.33，明显高于几个通用大模型。
代价：在部分结构理解指标上仍落后专用模型（如 STELLA 的 80.56%），折叠也仍不及 ESMFold。

⑤ 讨论（这些发现说明什么？）

作者最看重的不是某个单项分数，而是"统一"本身带来了什么。
他们发现，当序列和结构共享同一套符号空间后，模型在做"结构→序列"时会自然地参考"序列→结构"学到的规律，两者互相校准；而在过去的多模型拼接方案里，这种跨模态对齐只能靠外部的投影层，信息会在接口处损耗。
另一个观察是：扩散式（双向）训练对结构任务特别友好，因为一个氨基酸残基该放哪儿，往往要同时看它前后左右的一圈邻居，而不是只看前面已经写出来的部分。
作者也坦白局限：模型规模还小，结构理解的绝对水平不及专用模型，训练数据覆盖也有限。

⑥ 结论（最终结论 + 启示）

一句话：它证明了"把科学数据当成一种语言"这条路是走得通的。
如果语言、序列、结构真的能共享一个符号空间，那么未来的基础模型就不必为每个学科从头造一个专用架构，而可以在同一个模型里做跨模态的推理与生成。
对 AIGC 领域的启示是：下一次范式跃迁，可能不是更大的文本模型，而是把更多模态统一进同一个词表的模型。

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

蛋白质基础模型长期分为三条技术路线：以 ESM 系列为代表的序列语言模型、以结构预测网络（AlphaFold/ESMFold）为代表的几何模型、以及以 RFdiffusion/Chroma 为代表的生成式结构模型。统一三模态的尝试（如 BioMatrix）多采用"独立编码器 + 跨模态对齐"的拼接式架构，接口处存在信息瓶颈，且难以同时保留通用 LLM 的指令跟随能力。
Trion-1 的定位是原生统一：不做模态专用编码器，而是把序列与量化结构都映射为离散 token，直接复用 LLM 的词表与主干，用扩散语言模型（dLLM）取代严格自回归分解。作者主张，这一范式同时解决"统一"与"双向建模"两个问题。

I. Theoretical Framework & Hypotheses（理论框架与假设）

设计维度	Trion-1 方案	与既往工作的差异
模态表示	统一离散 token 空间：Qwen3 词表 + 专用序列 token + 量化结构 token	无独立模态编码器，无 cross-attention 接口
生成范式	dLLM：MDLM（全序列双向）与 BDLM（块内双向、块间因果）	替代严格 left-to-right 自回归
能力覆盖	折叠、反向折叠、序列理解、结构理解、序列设计、结构设计（六项）	单一 checkpoint 覆盖 tri-modal 全任务
语言能力	保留通用 LLM 的指令跟随与推理	拼接式方案通常在生物训练中退化

训练目标为掩码扩散：L_MDLM 对全序列随机掩码位置计算加权交叉熵；L_BDLM 在每个块 b 内以前序块 x₀^[<b] 为条件、对当前块 x_t^[b] 做双向去噪。

M. Materials & Methods（材料与方法）

模型规模。4B 参数，主干沿用 Qwen3 架构，词表扩充序列与结构 token；上下文长度 4,096。
三阶段训练。Stage 1：AR-CPT（自回归继续预训练，block size=1，任务 T+S+ST）；Stage 2：A2D-CPT（自回归转扩散，block size 8→16→32）；Stage 3：SFT（block size 32 用于 BDLM / 4096 用于 MDLM，启用 assistant mask 与 document mask，任务 X2X 跨模态翻译）。
数据。PDB 结构数据（含时间切分用于同源控制）、Swiss-Prot 序列与功能注释、通用文本语料；S2T/T2S 等跨模态指令对由 Swiss-Prot 构造。
评测。折叠：632 个单体靶标（CAMEO 2022 的 183 个 + PDB date split 的 449 个），指标 TMbb/TMaa/RMSDaa；反向折叠：序列恢复率 SR、重复率 Rep2/Rep5、可折叠性 pLDDT；理解：GeneralQA（481 题）与 StructureMCQA（3,918 题，仅主链输入）；设计：IPRRecovery、功能与新颖性指标。
对照。通用 LLM（Claude Opus 4.7/4.6、Gemini 3 Flash Thinking、GPT-5.5、DeepSeek-V4-Pro、Qwen3.7-Max、GPT-OSS-120B、GLM-5.1）、序列—文本模型（AMix2-dLLM/AR）、三模态模型（BioMatrix、STELLA）与蛋白设计模型（ESM3、Chroma、Pinal、ProDVa、ProteinDT、CFPGen）。

R. Results（结果）

折叠。单样本 TMbb 0.84，在严格同源控制下 TM-score > 0.8，匹敌/超过既往三模态模型 200 倍采样预算的结果；PDB date split 上 TMaa 由 BioMatrix@1 的 0.60 提升至 0.86，RMSDaa 由 12.x 显著下降；但仍不及 ESMFold。
结构理解。StructureMCQA 76.72%（仅主链输入），低于 STELLA 报告的 80.56%，但输入模态不同（STELLA 同时用序列+结构），作者认为主链几何本身可能不足以确定部分功能题。
序列理解。GeneralQA 62.16%，与 Claude Opus 4.7 的 62.37% 基本持平，显著高于 BioMatrix 的 24.32%；BDLM 明显优于 MDLM（56.13%），说明块内双向 + 块间因果更适合推理型任务。
序列设计。SR 84.14%，Rep2 44.65、Rep5 0.65，pLDDT 71.33，IPRRecovery 65.95，Hard novelty 36.54；在重复率与可折叠性上优于多数通用 LLM。
范式验证。同一 checkpoint 在六项能力上均达竞争水平，且保留了语言能力，支持"统一 token 空间可实现跨模态正迁移"的假设。

a / D. Discussion & Conclusion（讨论与结论）

范式贡献。证明 dLLM 可以作为三模态统一主干：统一词表解决"表示"问题，双向/分块扩散解决"结构建模"问题，三阶段课程解决"从语言先验过渡到科学模态"的问题。
与拼接式路线的对比。无独立编码器意味着跨模态对齐发生在每一层内部，而非接口处；作者认为这是折叠指标大幅提升的主要原因。
局限。4B 规模偏小、结构理解未超专用模型、训练数据以 PDB/Swiss-Prot 为主，对低同源与柔性区域仍弱；评测集中在单体，复合物与动力学未覆盖。
对 AIGC 的含义。展示了"把新模态编码为 token 后复用 LLM 主干"的可扩展路线；若该范式成立，未来的通用基础模型可能以"词表扩展"而非"新架构"的方式吞并科学模态。

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论

mindmap
  root((三模态统一扩散模型))
    I 引言
      蛋白模型各管一摊
      拼接式有接口损耗
      统一语言可行吗
      扩散替代自回归
    R 问题
      三模态能否同词表
      双向扩散更懂结构吗
      一个模型能否全包
      语言能力会丢吗
    M 方法
      四B参数主干
      序列与结构变词元
      三阶段课程训练
      块内双向块间因果
      六千余靶标评测
    R 结果
      单次折叠超零点八
      结构理解七十六点七
      通用问答六十二点二
      序列设计成功率八十四
      仍不及专用模型
    a 讨论
      对齐发生在层内
      跨模态互相校准
      双向适合几何
      规模与数据仍受限
    D 结论
      科学数据也是语言
      词表扩展吞并模态
      通用基础模型新路线

图：本研究的 IRMaD 思维导图。蓝色 I 引言；橙色 R 研究问题；绿色 M 方法；橙色 R 结果；紫色 a 讨论；红色 D 结论。