同一套训练补救,闭环结果一升一降:NavSafe-∞ 重排自动驾驶 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

同一套训练补救,闭环结果一升一降:NavSafe-∞ 重排自动驾驶

2026-10-09 / 共 2,733 字

VAIL-UCLA / NavSafe-∞

给同一种训练补救换一个驾驶策略,结果可能从“救回来”变成“更容易失败”。在 NavSafe-∞ 的官方榜单上,SimScale 把 DiffusionDrive 的闭环成功率从 20.95% 提高到 35.24%,却把 DrivoR 从 50.71% 拉低到 42.50%。这不是两组静态轨迹谁更像人类司机,而是策略驶出每一步后,下一帧画面、车辆位置和周围交通都会随之改变。

UCLA、UCSD 与丰田研究院团队用 280 个照片级仿真场景,把自动驾驶评测从“看一次答案”推进到“承受自己动作的后果”。这项工作最有价值的地方,不是再造一个总分,而是让碰撞、行人、违规和突发事件分别暴露能力缺口:开环分数仍适合快速筛选模型,却不能替代事件级闭环测试。

280 个短事件,把一次失误变成后续输入

NAVSIM 一类开环评测在真实日志上接收观测,让策略给出未来轨迹,再用碰撞、可行驶区域、行驶进度和舒适度等指标评分。它便宜、可重复,但背景车辆沿已记录的未来运动,策略的选择不会改变下一次观测。NavSafe-∞ 则在重建的 3D Gaussian Splatting(3DGS)场景里执行规划:自车和其他交通参与者状态更新后,渲染器从新位置生成下一帧相机画面,误差因此会累积,也可能被策略纠正。

基准把 280 个场景分为 28 类事件,再归入车辆碰撞、弱势道路使用者碰撞、交通违规和交通事件四类能力。每个短场景都有自己的成功、失败与终止条件:红灯场景要求在停止线后保持规定时间,施工区则要求绕过障碍且不触发禁止行为。Driving Score 把事件进度乘以违规惩罚;Success Rate 只统计在时限内完成任务且没有禁止违规的事件;四类 Ability Score 则对该类事件类型的成功率做等权平均。

这种拆法避免一条长路线的总分掩盖具体失败。当前公开榜单里,表现最好的学习型配置 GTRS-Dense-V2-99(SimScale)成功率为 61.79%,仍比拥有特权状态信息的非学习参考 PDM-Closed 的 81.31% 低 19.52 个百分点;也没有一个学习型配置同时领跑四类能力。一个模型总分靠前,不能回答它会不会在行人横穿、红灯停车或施工绕行上分别失手。

同一种扰动训练,为何会把 DrivoR 推向反方向

SimScale 的思路,是在专家轨迹附近人为扰动车辆状态,再配上专家恢复动作,让模型见过偏离正常路线后的纠错样本。NavSafe-∞ 的结果显示,这种补救只有在模型实际闭环轨迹仍落在扰动样本覆盖范围内时才稳定有效。

四组配对结果方向并不一致:DiffusionDrive 的成功率增加 14.29 个百分点,LTF 增加 6.31 个百分点,GTRS-Dense-V2-99 增加 12.27 个百分点;DrivoR 反而下降 8.21 个百分点。论文给出的机制解释是,DiffusionDrive 与 GTRS 这类基于锚点的策略仍会提出接近专家轨迹的候选,训练主要改善候选排序;DrivoR 与 LTF 这类基于查询的策略,实际驶入的状态仍可能离开预先构造的扰动分布。换句话说,离线造出的“偏航练习题”没有跟着每个策略真实会犯的错变化。

榜单还把失败定位到不同环节。LTF 在 29 米外已经检测到横穿车辆,却继续加速、制动过晚;DrivoR 的候选集中存在安全停车轨迹,评分器却把会碰撞的轨迹排在第一,把安全方案排到第 43;SimWAM 的未来预测丢掉了迎面车辆;AutoVLA 在两个由不同闭环轨迹形成的状态里都说应该停车,却只在其中一个状态把判断落实为制动轨迹。相同的碰撞结局,可能分别来自规划、排序、预测或推理到动作的对齐,单个总分无法告诉工程团队该修哪一层。

“奖励投机”只在诊断实验成立,不能写成 RL 普遍有害

论文把另一项发现称为 reward hacking:部分强化学习微调在冻结的日志未来上优化开环 PDM Score,进度奖励比安全余量更容易提高,策略因而可能用更激进的前进换分。到了闭环,单步风险在反复重规划中累积,碰撞又会提前结束安全关键场景。作者用 MTDrive 的诊断实验说明这种“进度上升、安全余量下降”的交换,而 ReCogDrive 的安全子分数较稳定,开环收益更能转入闭环。

这个结论必须限定在诊断场景。公开总榜中,MTDrive-mtGRPO 相比 MTDrive-SFT 的 Driving Score 仍从 48.78 升至 55.86,成功率从 31.79% 升至 40.60%。因此,现有证据支持的是“某些开环奖励允许策略投机,事件级闭环会暴露代价”,不支持“强化学习微调普遍降低闭环安全”,更不能外推为真实道路事故率上升。

另一项独立的跨基准研究也提醒,不应把所有开环指标一并否定。研究者匹配 8 个同时报告 NAVSIM 与 Bench2Drive 结果的方法,得到 PDM Score 与闭环 Driving Score 的 Spearman 相关系数 0.90(p=0.002);但仍出现名次反转,样本也只有 8 个。两项工作并不矛盾:安全感知的开环指标可以成为便宜的第一道筛选,闭环测试负责发现总分相关性覆盖不了的状态漂移、累积错误和具体事件失败。

工件已经开放,完整复现仍是一项重工程

论文 9 月 22 日发布的 v1 多次写着完整事件列表、协议和榜单“将在附录提供”,但当时版本并没有这些附录。官方代码仓库到 10 月 7 日才出现首个提交,因而不能把当前开源状态倒写成论文首发当天已经具备。现在仓库以 Apache-2.0 发布评测、场景编辑、策略适配和计分工具;Hugging Face 的 full_test 目录也确有 280 个场景包。

开放不等于低门槛复现。官方说明称,下载 280 个场景、共享资产和所选模型权重约需 2.2 TB,并建议把渲染器与策略分别放在两张 24 GB RTX 3090 上运行。当前项目页的主表只列出 17 个学习型配置和 2 个参考项,没有展示论文摘要所称全部 20 个端到端策略,也没有提供一张可直接计算“开环分数—NavSafe 闭环分数”相关性的匹配表。第三方尚未在冻结版本上完整复跑之前,榜单应被视为作者团队的首轮测量,而不是行业通用事故率排序。

仿真本身还有清楚的边界。3DGS 缩小了视觉域差距,却不能完整模拟传感器噪声、重建伪影、碰撞接触动力学和人类驾驶行为;场景又以密集城市道路为主,高速、乡村、恶劣天气和夜间覆盖不足。成功的仿真回合可能受益于简化的交通参与者,失败也可能来自模拟器偏差。

NavSafe-∞ 真正重排的不是“谁最接近真人轨迹”,而是“谁能在自己的动作改变世界后继续安全完成具体事件”。对研发团队而言,更可执行的做法是保留开环评测做大规模回归,再用闭环事件切片检查每次训练改动究竟改善了哪类能力、又把风险推向哪里。接下来最关键的证据,不是再多一个总分,而是公开完整 20 策略的匹配数据,并由独立团队在冻结代码、场景和模型配置上复跑这些名次翻转。

来源

  • NavSafe-∞: Benchmarking Closed-Loop Driving Safety in Photorealistic Environments · arXiv
  • NavSafe-∞ project and leaderboard · UCLA VAIL
  • VAIL-UCLA/NavSafe-infty · GitHub
  • c13752hz/NavSafe · Hugging Face
  • Do Open-Loop Metrics Predict Closed-Loop Driving? · arXiv
  • NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking · arXiv

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Neverwhere 中真实扫描、3D Gaussian Splatting 近景与完整仿真场景的对照

    机器人先在 67 座数字场景里试错,逼真仿真仍没消除泛化缺口

    2026-09-14

  • FlashDrive 论文题图:VLA 推理的编码、prefill、解码、动作四阶段流水线与加速效果示意

    FlashDrive 加速自动驾驶模型,工作站 GPU 上单帧推理降至 151 毫秒

    2026-08-16

  • LIBERO-Recover项目页的场景分布图;图心标注2117个场景,与论文正文的2178个不一致

    一个机器人模型在标准基准拿到97.1%,失败后续作不足四分之一

    2026-09-05

  • SAFARI 基准流程图,展示从汽车运行场景、危险分析到 E/S/C、ASIL、安全目标与 FTTI 的两阶段评测
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

九个模型会写危险叙事,ASIL 最佳宏 F1 仅 0.261

2026-09-17

  • 智谱官方示意图,对比 Infra Agent 只接收端到端结果的稀疏反馈,与由正确性、系统行为和性能验证组成的密集反馈回路

    智谱用密集反馈让 GLM 持续优化推理栈

    2026-09-17

  • Waymo 自动驾驶出租车在旧金山高速公路上行驶

    Waymo 暂停高速服务 71 天后恢复运营,施工区识别仍是考验

    2026-07-29