arXiv 2608.15875 · 智元 GigaAI 具身团队 · 3.7 万小时数据 + 真机评测

GigaBrain-0.7:用三系统架构把具身基础模型推向涌现能力

GigaBrain Team, Angen Ye, Axiang Sun 等 12 人 · arXiv (preprint) · 2026 · arXiv: 2608.15875
原题:GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture
Open Access 新颖度 0.91

🧒 初中生也能看懂的版本

① 研究背景(为什么要做?)

想象教一个从没进过厨房的人做菜。你可以让他看一百遍视频,他也许能背下“先拿刀、再切菜”的顺序,可一旦换了灶台、换了锅的大小,他就手足无措。现在的机器人也是这样:看演示学动作的模型,在训练过的桌子和物体上表现不错,换一台机器人、换一种摆放方式,成功率就掉下来。

问题出在三个地方。第一,它只看眼前这一帧。同一个画面,可能是刚开始拿杯子,也可能是快要把杯子放下——只看一眼分不清,于是机器人会在原地反复做同一个动作,卡住出不来。第二,它不会想“接下来会怎样”。人伸手前会先在心里预演:这样抓会不会滑、这样放会不会倒。机器人通常不做这件事,伸手就抓。第三,它不知道自己有没有进步。做了一分钟后,它无法判断“离成功更近了还是更远了”,也就没法在走错时回头。

还有一个麻烦是数据。不同机器人的关节数、手爪形状、摄像头位置都不一样,把它们的录像混在一起训练,很可能互相干扰,而不是互相帮忙。

这篇论文的想法是:别再让一个模型包办所有事,而是像一家公司那样分工——有人负责看懂任务并拆成小步骤,有人负责预演未来和打分,有人负责动手。然后喂给它三万七千多个小时、来自十六种机器人的真实操作数据。

② 研究问题(要回答什么?)

作者把要回答的问题拆成了六条,前面几条是为后面几条铺路的。

第一,用什么“身体”来学最合适?他们试了三种视觉语言模型做骨架,发现更大的不一定更好用——有个八十五亿参数的模型在两项任务上很强,却在折衣服上完全失败;三十五亿的那个反而是唯一能折衣服的。

第二,动作模块该怎么接?是每一层都和语言模型交织在一起,还是只在最后一层接一下?前者更贵但更强,后者便宜却几乎学不会复杂任务。

第三,数据越多真的越好吗?他们想验证:把训练数据从少量加到三万七千小时,机器人的真实成功率会不会跟着涨,以及哪种任务对数据量最敏感。

第四,多看几帧历史画面有用吗?针对“原地打转”的毛病,他们想知道加点短期记忆能不能让机器人跳出循环。

第五,预演未来和打进度分,各自贡献多少?两个信号是分开加的,可以分别关掉来测。

第六,学完之后还能不能继续变强?也就是用机器人自己在真实世界里犯的错,再练一轮。

③ 研究方法(怎么做的?)

整套系统像一个小团队,分三个角色。

二号角色负责“看懂和拆解”。它拿到摄像头画面和一句人话指令,先在心里描述场景(“桌上有帽子、有包”),再把大任务拆成眼前这一小步(“拿起红帽子”)。它用的是一套三十亿参数的视觉语言模型。

三号角色负责“预演和打分”。这是一个五十亿参数的世界模型:给它现在看到的东西和当前小目标,它会“想象”接下来一小段视频,把最后一帧当成“应该变成什么样”的目标图;同时它还会给当前状态打一个进度分,分数在涨就说明路子对。这个角色训练完就冻结,不再改动,专门当裁判和预言家。

一号角色负责“动手”。它由三十亿参数的视觉语言骨架加五亿参数的动作专家组成,两条支路并排跑:一条用“预测下一个词”的方式吐离散动作,另一条用“流匹配”的方式一次生成一小段连续轨迹——可以理解成先把一团噪声慢慢“推”成一条平滑的动作路线。真正让机器人动的,是后面这条。

训练上有个巧思:过去常见做法是“先学语言、再学动作”,分两段容易互相打架。作者改成一次性联合训练,语言预测和动作生成的损失从一开始就一起算;同时给动作的梯度乘一个小于一的系数,让它“渗”进语言骨架而不是“冲”进去,既学会控制又不把原有的看图说话本事冲垮。

数据方面,他们把十六种机器人的录像统一成同一种格式,用有效性掩码区分“这个关节不存在”和“这个关节读数是零”,动作专家的主体参数大家共用,只给每种机器人配一套小小的输入输出适配层。最后用真人纠错的数据做离线和在线两轮强化练习。

④ 结果(发现了什么?)

先看最直观的一组对比。在折衣服、拆礼物这类需要连续接触的任务上,加上三号角色的两个信号后,效果是这样的:

折衣服
四种配置本来都是百分之百成功,看不出差别;但完成质量分从 68.3 升到 81.7(只加目标图)、85.0(只加进度分)、88.3(两个都加),平均用时从 107 秒降到 75 秒。
包礼物
不加信号时一次都没成功;只加目标图到 20%,只加进度分到 60%,两个都加到 80%,质量分从 61.1 升到 96.7。

再看“出厂即用”的能力。不做任何专门训练,同一个模型直接放到两种完全不同的机器人上听指令干活:在桌面双臂机器人上,六项语言指令任务平均 91.5%,高于对比模型的 88.8%;在人形机器人上平均 84.2%,而对比模型只有 75.2%。复杂操作任务的差距更大:人形机器人上平均 74.1%,对比模型 45.2%。

在公开的仿真擂台上,它在一个双臂操作基准的“加干扰”难度下拿到 67.9,而此前的冠军只有 46.0;在另一个移动操作基准上成功率 33.3%、进度分 46.1,也都是第一。

最后是用自己犯的错继续练。四个精细装配任务,只靠示范时平均成功 30%,加上离线练习到 57.5%,再加真人现场纠错的在线练习,四个任务全部到 100%。其中穿扎带这一项从零起步,离线到 40%,在线直接到满分。

⑤ 讨论(这些发现说明什么?)

这组结果最值得说的是“分工”带来的好处。以前的思路是把所有本事压进一个策略网络,指望它自己悟出“要不要先想一想”。作者反过来,把“想象未来”和“判断进度”做成独立的、训练完就冻结的模块,再把结果当成条件喂给动作模块。好处有两个:一是裁判不会跟着策略一起“学坏”,评价标准稳定;二是策略不必从零学会预测,直接拿来用就行。

折衣服那个例子很能说明问题。四种配置成功率都是百分之百,光看成功率会以为三号角色没用。可质量分和用时差得很远——这说明它改善的不是“能不能做完”,而是“做得好不好、快不快”。作者因此强调:当任务简单到成功率饱和时,必须看分数和耗时,否则会低估预测信号的价值。

“多看几帧”的效果也印证了前面的诊断。单帧策略会在视觉上相似的 state 之间打转:看起来像刚拿起,其实已经放下了,于是它又把东西拿起来,循环往复。加入短期记忆后,历史信息帮助它区分“这是第几步”,循环就被打破了。作者还特意让模型在训练时随机丢掉历史帧,避免它死记某个固定长度。

作者也坦率承认局限:跨场景、跨物体的泛化仍会明显掉分,尤其当物体、场景、任务组合同时变化时;一些需要持续接触的任务(比如扫米、揉面团)离饱和还很远;评测每个配置只有十到二十次试验,统计上并不宽裕;在线练习需要真人在旁边纠错,成本不低。

⑥ 结论(最终结论 + 启示)

一句话总结:把机器人大脑拆成“看懂—预演—动手”三个角色,再喂足够多、足够杂的真实操作数据,机器人就能在没见过的物体和场景上直接干活,并且能靠自己的失败继续变强。

这项工作给出的不只是一个更高的分数,而是一种组织方式:预测和评估值得被单独建模,而且应该冻结起来当稳定的参照。这对整个具身智能领域是个方向性的提示——与其把更多能力塞进一个越来越大的策略网络,不如想清楚哪些能力应该独立、哪些信号应该以什么形式接进来。

对普通人来说,这离“家里有个会叠衣服的机器人”更近了一步,但还没到。作者列出的下一步是:继续扩大异构数据、改进跨来源对齐、加强长时程预测,以及让“从自己的经验里学”这件事更自动、更少依赖人工纠错。

🎓 专业 IRMaD 结构解读

I. Introduction(引言)

VLA 已成为通用具身智能的主导范式,但“扩大规模”在具身上并不等同于“多收轨迹、加大策略网络”。机器人数据在形态、动作空间与执行条件上高度异质,缺乏对齐的多样性会带来干扰而非可迁移知识;模型层面,多数 VLA 仍是“观测→动作”的反应式映射,缺少对未来状态的预期与对行为进度的评估。近期工作分别用生成式视觉子目标、世界模型条件策略与预测式训练目标触及这一缺口,但理解与规划、预测判断、动作执行、经验驱动的持续改进四者,尚未在完整学习生命周期内被协调起来。

GigaBrain-0.7 的贡献是把这个协调做成了架构。其一,提出三系统结构:System 2(PaliGemma2 3B)负责理解与分层规划,System 3(基于 GigaWorld-1 的 5B World Value Model)负责未来观测预测与任务进度估值,System 1(PaliGemma2 3B + 0.5B Action Expert,双流 MoT)负责多形态连续动作生成。其二,把预训练做成一次性联合优化:NTP 与流匹配在同一阶段共同训练,并以 Soft Knowledge Insulation 软化动作梯度对 VLM 的冲击,避免多阶段流水线的优化割裂。其三,把数据规模推到 37,256.98 小时具身轨迹(16 种机型、1,810,101 条 episode、20.8 亿帧)加 2.72 亿条视觉语言样本,并给出数据规模、来源构成、骨架容量与耦合方式四条 scaling 曲线的实证。其四,让同一个 System 1 贯穿预训练、后训练与部署,形成 SFT → 离线 RL → 在线 RL 的连续经验闭环;四个真实装配任务的平均成功率由 30.0% 经 57.5% 升至 100%。相较 π0.5,真机语言指令平均 91.5% vs 88.8%(PiPER)、84.2% vs 75.2%(H01),复杂操作 84.9% vs 76.6%、74.1% vs 45.2%。

I. Theoretical Framework & Hypotheses(理论框架与假设)

三层耦合结构。论文把系统分为三层:world simulation(语义理解、任务规划、未来预测与评估)、action alignment(把多模态信号映射到异构形态的连续控制)、experience reinforcement(把执行经验回流到离线与在线改进)。三层之间通过结构化接口通信:System 2 输出思维链与子任务指令,System 3 输出子目标图像 g_t 与进度值 V_t,System 1 接收二者并生成动作块。

双流 MoT 的耦合方程。设 H_l^VL、H_l^AE 为第 l 层两流隐状态:O_l^VL = CausalAttn_l(H_l^VL; H_l^VL)、O_l^AE = Attn_l(H_l^AE; [H_l^VL, H_l^AE])、H_{l+1}^VL = FFN_l^VL(O_l^VL)、H_{l+1}^AE = FFN_l^AE(O_l^AE)。VL 流保持因果自注意力以延续预训练的自回归接口,动作流对两流拼接做双向注意力,从而在不把动作表征注入 VLM 注意力的前提下获得完整语义上下文。

核心假设。(H1) 异构数据规模与真实机器人能力正相关,且复杂长时程任务对数据覆盖更敏感;(H2) 显式的未来预测与进度评估能改善“成功率已饱和”场景下的质量与效率;(H3) 冻结的 World Value Model 提供的优势条件可使策略在推理时偏向推进型行为(类似 RAMP,但优势来自专用世界价值模型而非人工标注或 VLM 推理);(H4) 同一策略在离线与在线经验上继续训练可持续提升,无需引入独立控制器。

编号研究问题对应设计 / 判据
RQ1何种骨架与耦合方式适合大规模具身预训练3 种 VLM 骨架 × 3 种耦合(双流 / 末层交叉注意 / 多层交叉注意),真机三任务
RQ2数据规模与来源构成如何影响能力固定架构,变数据量;3,000 h 机器人数据 + 等量 UMI / EGO / 两者组合
RQ3时序上下文能否化解重复状态歧义Temporal-Spatial Blocks 开 / 关的定性对照(图 9)
RQ4System 3 两路信号的独立与联合贡献Base / +SubImage / +Value / +SubImage+Value 四配置 × 三任务
RQ5异构预训练是否产生开箱即用与 OOD 泛化不经任务适配直接部署于 PiPER 与 H01,ID / OOD 对照
RQ6经验驱动 RL 能带来多少增量SFT / 离线 RL / 在线 RL 三阶段 × 四个真实任务

M. Materials & Methods(材料与方法)

R. Results(结果)

任务 / 指标Base+SubImage+Value+SubImage+Value关键 delta
折衣 · 成功率100%100%100%100%已饱和,无区分度
折衣 · 质量分68.3%81.7%85.0%88.3%+20.0 个百分点
折衣 · 平均用时107 s83 s79 s75 s−32 s(−29.9%)
包礼物 · 成功率0%20%60%80%0 → 80%
包礼物 · 质量分61.1%71.4%93.3%96.7%+35.6 个百分点
方块分拣 · 成功率40%50%45%55%+15 个百分点
方块分拣 · 质量分55.0%——87.5%+32.5 个百分点

a / D. Discussion & Conclusion(讨论与结论)

🧠 IRMaD 思维导图

I 引言 R 研究问题/假设 M 方法 R 结果 a 讨论 D 结论
mindmap
  root((三系统具身大脑))
    I 引言
      VLA 只会看画面出手
      异质数据易互相干扰
      分不清重复状态
      不知道该不该回头
    R 问题
      哪种骨架最稳
      动作模块怎么接
      数据越多越好吗
      多看几帧有用吗
      预演与打分各占多少
      学完还能再练吗
    M 方法
      二号看懂并拆步骤
      三号想象未来打进度分
      一号双流生成动作块
      一次联合训练不分段
      动作梯度软化入骨架
      三万七千小时十六机型
      时序块融合历史帧
      冻结世界价值模型
    R 结果
      折衣质量分 88.3
      折衣用时 107 到 75 秒
      包礼物 0 到 80
      指令跟随 91.5 与 84.2
      干扰赛 67.9 分
      离线到在线 30 到 100
    a 讨论
      预测评估应外置冻结
      成功率饱和要看质量分
      记忆打破重复动作环
      跨场景泛化仍会掉分
      在线练习依赖人工纠错
    D 结论
      分工优于单一策略
      开箱即用初步成立
      经验闭环可持续变强
      权重与代码将公开

图:本研究的 IRMaD 思维导图。蓝色 I 引言;橙色 R 研究问题;绿色 M 方法; 橙色 R 结果;紫色 a 讨论;红色 D 结论。