超越人类示范：不靠模仿人类轨迹的端到端自动驾驶

🎓 专业 IRMaD 结构解读

I. Introduction（引言）

端到端自动驾驶旨在将车载观测与导航意图直接映射为车辆运动。多数现有系统通过模仿人类驾驶日志学习该映射：该范式可扩展且稳定，但它使记录的人类轨迹成为唯一监督来源，学到的行为因此受限于日志的质量与覆盖度。

作者明确列举了三重结构性缺陷：(1) 每个记录场景只含一个已实现的未来，即便多种动作同样有效；(2) 安全攸关的偏离与恢复机动极为罕见；(3) 学到的策略所诱导的状态在离线数据中不存在，因而策略一旦离开示范分布，误差便会累积。

强化学习提供了另一种行为来源：通过闭环交互优化显式目标，策略可观察自身动作的后果、将失败转化为训练信号、访问受扰状态并学会恢复。但将该优势引入端到端驾驶存在困难——直接的视觉 RL 将样本密集的探索与昂贵的视觉仿真耦合在一起，限制了可扩展性。作者将此概括为一个核心张力：闭环 RL 适合学习「如何驾驶」，而部署所需的纯相机策略却不适合大规模在线探索。

相对于 ROACH（将 CARLA 中的 RL coach 蒸馏为单目策略）与 GigaFlow（经自博弈 DAgger 将向量观测的 RL 教师迁移至像素学生）等前作，本文的差异在于：前作在闭环中训练策略但直接取用现成的视觉编码器，而本文将感知模型与动作模型分别在各自最适合的范式中预训练——感知受益于大规模多样图像与丰富表征监督，动作受益于紧凑结构化状态上的高吞吐闭环交互——最后经蒸馏重新统一为可部署的纯相机策略。

I. Theoretical Framework & Hypotheses（理论框架与假设）

系统由三阶段构成，其分解本身即为核心论点。

DriveRL 的观测与动作：结构化观测 O_t 含自车、周边参与者、局部矢量地图与红绿灯状态。自车与各参与者以当前帧 + 前 4 帧（5 Hz 采样）共 5 帧表示，至多 96 个参与者；地图以至多 256 个局部矢量元素 token 表示，红绿灯状态附着于其所辖元素。导航由自车坐标系下的目标点 G_t 提供，采用两点、置换不变的表示（训练时取自日志未来自车位置，部署时沿路线选近/远两个锚点且前瞻距离随车速缩放、每步重算）。

策略输出有界 Beta 分布，作用于纵向加加速度与轮胎转角变化率，直接控制车辆而不做轨迹后处理。策略网络：三个专用编码器将 agent、自车运动学、地图输入嵌入为 256 维 token；两个目标点经正弦位置编码与共享 MLP 后均值池化为单一目标特征；以自车 token 为唯一 query，两层交叉注意力聚合 agent 上下文，再经一层 ego-to-map 交叉注意力提取地图上下文；拼接后由共享 MLP 融合送入策略头。策略共 5.7M 参数。

奖励函数：r_t = h_t + (1 − d_t)·( g_t + (1/H)·Π_{k∈K} q_{t,k} )，其中 h_t 为硬事件惩罚（触发即终止 rollout），g_t 为一次性到达目标奖励（不终止），q_{t,k} ∈ [0,1] 为覆盖安全、合规与舒适的六项软性驾驶质量分，H = 110 为 rollout 视界。乘性构造要求六项软标准被联合满足——任一项趋零即整体趋零，从而排除以某一维度补偿另一维度的取巧。Critic 被分解为每个奖励项一个价值通道，各通道之和等于总回报。

价值引导的测试时动作搜索：候选 0 保留 Beta 策略的众数，另从同一策略采样 N−1 个备选首动作。每个候选经 L 步 rollout 评估（首动作为该候选，后续动作取同一策略在候选诱导状态下的众数；背景车以有界加速度与偏航率的恒定转率–加速度模型外推）。评分 S⁽ⁱ⁾ = Σ_{ℓ} γ^ℓ Π_{u<ℓ}(1−d_u)·r_ℓ + γ^L·Π(1−d_u)·V，复用 PPO 的训练奖励、折扣因子与 critic，使候选排序与 PPO 所优化的目标保持一致。保守选择：仅当最高分候选超过众数动作的分数达到边际 δ 时才执行，否则执行众数动作。

M. Materials & Methods（材料与方法）

• 混合智能体仿真：每个背景 actor 经统一的物理状态–动作接口获得独立行为提供者，支持三类：日志回放、规则行为（IDM、前车制动）、学习策略（自博弈）。报告设置中背景车用 IDM 的批处理近似，少量用前车制动，行人与非车辆 actor 保持日志回放。
• 自博弈扩展：训练中的策略可额外控制选定背景车，各自获得自我中心观测与目标。作者如实报告 nuPlan 上收益很小，并归因于基准自身——其闭环评测以 IDM 驱动背景车，因而不奖励更自然的交互行为。自博弈是真实路测部署所采用的配置。
• 场景一致的 actor 插入：晚入场 actor 仅在满足三个条件时释放——存在于当前日志帧、自车位姿与日志自车位姿相差在 5 m 与 0.35 rad 之内、且不会与任何可见 actor 碰撞。此设计解决「自车偏离日志后按原时刻插入 actor 会产生不合理位置甚至直接碰撞」的问题。
• 并行规模：整个 rollout 循环（背景智能体行为、车辆动力学、奖励计算、场景编辑）实现为批处理 GPU 运算；每 rank 2,048 个世界，跨 96 GPU 至多并行 196,608 个世界。作者另报告更大的 PPO minibatch 可提升训练表现。
• DriveVFM：遵循 RADIO 的聚合式蒸馏，将冻结的 DINOv3、SigLIP2、SAM、Depth Anything V2 融合进单一驾驶骨干，监督完全来自冻结基础模型的特征，因而训练不需要检测、分割、车道或深度标签。该性质允许预训练语料自由混合网络级图像与驾驶场景。
• DriveZero 架构：输入四路相机（前/后/左/右）、自车运动学与导航指令（由给教师的目标点导出，使师生共享同一驾驶意图）。DriveVFM 经 rank-32 的 Q/V LoRA 微调编码各路图像（骨干本体冻结），视觉 token 附加 3D 位置嵌入后由每相机 16 个可学习 register token 压缩为少量场景 token。自车运动学与指令嵌入为一个 ego token，加到 M 个可学习轨迹 query 上；轨迹解码器经对场景 token 的交叉注意力输出轨迹。独立的打分解码器将每条候选编码为 score query，注意视觉 token 并预测 PDM 的六个分量。
• 蒸馏目标：对每个日志帧，冻结教师接收结构化状态与目标点并在全部背景 actor 按日志行进的条件下 rollout，所得轨迹 τ^T 以自车相对 (x, y, yaw) 位姿序列表示，作为胜者通吃目标的回归靶：L_traj = min_m dist(τ̂_m, τ^T)（dist 为按点平均的 L₁ 距离）。仅最接近的候选贡献损失，使不同 query 捕捉不同驾驶模态。打分损失 L_score = (1/M)·Σ_m Σ_{k=1}^{6} BCE(σ(ŝ_mk), s_mk)。候选轨迹在进入打分分支前被 detach，将轨迹生成与候选排序解耦。总目标 L = λ_traj·L_traj + λ_score·L_score。
• 目标增强：因教师是目标条件化的，同一场景可在增广的驾驶意图下被反复查询，产生多样且目标一致的监督——这正是日志数据无法提供的信号。
• 学生训练：NAVSIM navtrain 划分（基于 nuPlan，含 100K 交互式真实场景），不使用记录的人类驾驶轨迹；DriveZero-Scale 另加 SimScale 的 237K 分布外仿真场景。64 条轨迹候选、256 维规划表示、4 层候选解码器；25 epoch，batch size 256，AdamW，初始学习率 2×10⁻⁴ 余弦退火至零。主表变体均用 DriveVFM ViT-L 骨干。学生始终以开环方式在日志帧上训练，从不进入交互环境，也不需要任何渲染。
• 评测：DriveRL 在 nuPlan 的 Val14 / Test14-hard / Test14-random 三个社区划分上以非反应式（NR）与反应式（R）两种模式评测。学生在 NAVSIMv1 navtest（报 PDMS 及其五个分量）、NAVSIMv2 navhard（报两阶段 EPDMS，其第二阶段评估对高斯泼溅式自车状态扰动的鲁棒性）、以及 HUGSIM 真闭环基准（零样本迁移，无任何针对性微调）上评测。

R. Results（结果）

DriveRL 闭环对比（nuPlan，NR / R）

• R1 · 全面超越日志专家：DriveRL 在全部六项非反应式与反应式设定上均超过 Log-Replay，证明闭环 RL 可学到超越其训练世界种子示范的驾驶行为。同时在所有已报告设定上超过 CaRL 与 GigaFlow 这两个同样不使用人类数据的前作。差距在反应式设定下尤为悬殊（如 Test14-hard R：68.80 → 89.18），说明静态日志在会回应的环境中表现脆弱。
• R2 · 测试时算力扩展（固定检查点，L = 5，δ = 0.03）：候选数 N 由 8 增至 64，均值由 93.01 单调升至 93.57（+0.56）。分项最大增益出现在非反应式划分：Test14-hard NR +1.16，Test14-random NR +1.43。作者将该趋势解释为测试时搜索作为局部策略改进算子的预期作用。TTS 提升五项、在 Test14-hard R 上基本持平（89.15 vs 89.18）——如实报告了未提升的那一项。
• R3 · 纯相机学生追平人类：DriveZero 在 NAVSIMv1 navtest 取得 94.8 PDMS，在完全没有人类轨迹监督的情况下与人类司机（94.8）持平。
• R4 · 数据扩展后三项 SOTA：DriveZero-Scale 在 navtest 达 95.3 PDMS、NAVSIMv2 navhard 达 57.1 EPDMS、闭环 HUGSIM 达 46.6 HD-Score（零样本，无 HUGSIM 特定微调）。

消融（ViT-S 骨干，navtrain 无 SimScale，NAVSIMv1 navtest）

• R5 · 教师监督优于人类轨迹监督：这是支撑全文核心主张的关键对照——配合目标增强的教师监督超过人类轨迹监督。
• R6 · 多教师累积生效：DriveVFM 融合骨干（94.41）优于任一单独教师骨干（93.31–93.88）；additive study 显示每个教师基础模型都累积地贡献增益。

a / D. Discussion & Conclusion（讨论与结论）

• 范式层面的贡献：本文改动的是训练范式而非网络结构。核心论点是人类驾驶日志的价值不在于「示范如何驾驶」，而在于提供真实的场景分布与导航目标。将其降格为场景素材后，行为可由闭环交互重新习得并超越日志本身。作者据此验证了三项分解：摆脱人类示范的 RL 动作模型、无需任务标注预训练的感知模型、以及将二者统一为超越模仿类对手的纯相机规划器。
• 「超越日志专家」的解读边界（评注）：日志回放在闭环评测中天然吃亏——它不对变化的环境做出反应，这一点在其反应式得分的大幅下滑中清晰可见。但这恰构成论证的一部分：静态日志本身不构成足够的行为上限，因为真实驾驶是交互的而记录不是；以其为唯一监督必然缺失「应对变化」的能力。该结果应读作「模仿的上限被证伪」，而非「模型比人类司机开得好」。
• 感知侧的实践价值：完全免标注的骨干预训练，将监督转移至现成基础模型的特征，既消除了检测/分割/车道/深度标注成本，又解放了语料来源（网络图像与驾驶场景可自由混合）。其实际工程意义可能大于其在论文中所占篇幅。
• 测试时搜索的迁移意义：将「以策略与价值估计引导测试时搜索」这一在语言模型中成熟的思路迁移至控制领域，并给出清晰的算力–性能曲线。实现上的克制值得称道：默认保留策略众数，仅在备选超出边际 δ 时替换；作者明言此举源于「背景 actor rollout 与 critic 均为近似，微小分差可能是噪声」。该设计为部署提供了一个实用自由度——同一模型可依车载算力余量在推理时自行权衡。
• 报告的诚实度：作者主动报告了自博弈在 nuPlan 上收益很小并给出基准层面的归因；亦如实标注 TTS 在 Test14-hard R 上未获提升。这类负面/中性结果的披露提高了整体可信度。
• 性质与局限（评注）：本文为产业界技术报告，所用组件（PPO、RADIO 式聚合蒸馏、胜者通吃多模态回归、LoRA、DrivoR 式 register 压缩）均有明确既有出处并被逐一引注；贡献在于整体架构的重新组织与大规模验证而非单点算法发明。此外，闭环 RL 环节仍发生在结构化仿真世界中，简化掉了感知误差、传感器噪声与真实交通中更复杂的博弈行为，这些在部署时会重新出现；学生的训练则完全是开环的，其闭环稳健性由教师间接传递而非直接习得。