无人机先找、地面车再验,AGOS-Bench 把协作拆成可测闭环 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

无人机先找、地面车再验,AGOS-Bench 把协作拆成可测闭环

2026-09-08 / 共 2,800 字

AGOS-Bench 论文

同一条城市仿真任务里,一组无人机与地面车跑满 80 次模型决策也没能完成交接;换成结构化协作协议后,它们在 29 次决策内找到并确认了目标。前者不是没看见线索,而是没有把空中的发现变成地面车能够执行的路线。

这是 9 月 8 日公开的 AGOS-Bench 最有价值的切口。它不再只问视觉语言模型能否认出一辆车,而是追问一条更接近机器人系统的问题:无人机发现疑似目标后,能否把位置交给地面车,后者能否到达并从近处作出确认或拒绝?论文在固定的 210 条 CARLA-Air 仿真任务上测试九个模型。完整协议让其中八个模型的平均成功率提高,同时让九个模型都减少决策次数。

结果并不说明视觉语言模型已经学会了空地协作。真正有效的设计,是研究者主动缩小模型的职责:视觉理解和高层选择留给模型,坐标投影、道路寻路和动作校验交给确定性工具。AGOS-Bench 测到的,因而既是模型能力,也是系统如何给模型划定工作边界。

从“看见目标”走到“由另一台机器人确认”

已有城市机器人评测覆盖了这条链路的不同片段。CityAVOS 让单架无人机在城市中搜索目标;AirGroundBench 提供空中与地面双视角,测试跨视角识别、空间对齐和导航。后者包含 1021 对同步图像、约 6.2 万道选择题和 115 条导航任务,也发现模型从感知走向跨视角对齐时性能明显下降。

AGOS-Bench 新增的是一个以确认结果结束的闭环。每条任务给无人机和地面车目标车辆的多视角参考图、各自位置和俯视地图。无人机用 80 米高空的垂直视角做广域搜索;地面车行驶时看前方,到达候选区域后再读取六个方向的环视画面。只有当地面车停在目标 50 米内、目标无遮挡可见并作出正确确认,任务才算成功;误确认会直接结束任务。

数据规模需要分开理解。论文称训练集有 5500 条、验证集有 2200 条专家轨迹,来自五个 CARLA 城镇;测试集另外包含 210 条任务,全部位于未用于训练与验证的 Town03,每个难度 70 条。简单任务覆盖 150×150 米区域且没有干扰车,中等任务扩大到 300×300 米,困难任务再加入 2—3 辆外观相似车辆。

这些专家轨迹并不是人类驾驶记录。研究者把无人机和地面车的搜索路径写成一个多旅行商问题,先用传统求解器规划覆盖路线,再自动生成移动、交接和确认动作,最后从仿真器采集 RGB、深度与语义图像。这使数据便于规模化生成,也意味着它学习的是求解器与仿真规则下的“专家”行为。

模型负责判断,工具把判断变成可执行路线

AGOS-Agent 把协作过程固定为“搜索—交接—验证”三段。搜索阶段,两台机器人分别选择空中网格点和道路节点。无人机认为证据足够时,只需在带有 5×5 网格的画面中标出一个候选格。接下来,一个几何投影工具利用相机参数和飞行高度,把这个格子换算到全局地图;道路规划工具再选取可到达的道路节点,用 Dijkstra 算法为地面车生成路线。到达后,模型查看六向画面并选择确认或拒绝;拒绝会关闭当前候选,让两台机器人恢复搜索。

对照组使用同一模型,也有无人机和地面车两种角色,但依赖较长提示词、自然语言消息和模型直接选择移动、通信与验证动作。主表比较的因此是整套协议——阶段化提示、共享候选状态、几何投影、道路规划和动作校验——并不能把收益单独归给某一个模块。

把视觉判断与几何执行分开,解决的是一个具体接口问题。无人机看到的是以自身为中心的像素和网格;地面车需要的是全局坐标、合法道路节点和可行路径。让语言模型自己完成这几次坐标系转换,一处误差就可能在后续动作中被放大。确定性工具没有替模型认车,却把一个模糊视觉判断压缩成了地面车可验证的候选区域。

八个模型成功率提高,一个例外揭示协议并非万能

每个模型都在相同的 210 条测试任务上运行,对每条任务最多使用 80 次高层模型决策。按论文主表复算三个难度的宏平均成功率,几组有代表性的配对如下:

模型 直接提示基线 加入 AGOS-Agent 变化
Gemini-3.1-Pro 20.0% 62.9% +42.9 个百分点
Gemini-3.6-Flash 15.2% 64.3% +49.0 个百分点
GPT-5.5 10.5% 42.8% +32.4 个百分点
Qwen3.7-Plus 7.6% 48.9% +41.3 个百分点
Qwen3-VL-4B 11.9% 11.4% -0.5 个百分点

九个模型的平均配对增量为 22.5 个百分点,平均决策次数减少 33.3 次。困难任务中,Gemini-3.6-Flash 的成功率从 8.6% 升至 55.7%,但同一接口下的人类参考为 89.3%。这道差距说明,协议能减少无效搜索和交接失败,跨视角识别与最终确认仍没有被工具接管。

分阶段指标也给出了更细的故障位置。Qwen3-VL-8B 的空中搜索效率达到 76.3%,高于多款闭源模型,但候选位置引导得分为 33.4%,地面确认准确率为 39.0%,最终成功率只有 18.1%。它能较早让目标进入无人机视野,却未能稳定把发现转成精确候选和正确确认。对协作系统来说,“看见过”与“交付了可执行信息”是两种能力。

论文的消融实验还削弱了一个过于顺滑的解释。在 Qwen3-VL-4B 的 120 条测试中,完整方案总成功率为 11.7%;移除像素到全局坐标的投影模块后反而是 14.2%。作者认为,小模型对网格的预测不稳定时,精确投影会把错误也精确地传下去。相比之下,移除面向候选点的道路规划后,成功率降至 0.8%,平均决策次数从 21.9 增至 72.4。现有证据更明确地支持“需要可执行的道路接口”,还不足以证明每个工具模块都会独立带来收益。

仿真先拿走了现实中最昂贵的三类不确定性

AGOS-Bench 默认两台机器人都拥有全局定位、城市地图和道路网络,通信没有丢包、延迟与带宽限制;目标和干扰车静止不动,控制层使用离散航点,不测试低层飞行和驾驶。CARLA-Air 的统一物理时钟与同步渲染适合生成对齐的空地观测,却不能替代真实传感器误差和无线链路。

指标也应按它实际计算的对象来读。成功率、路径加权成功率和导航误差等四项主指标只依据地面车轨迹与最终验证结果;论文另设空中搜索效率、候选引导质量和地面确认准确率来诊断各阶段。决策次数统计的是逻辑上的模型调用,不包含底层 API 请求、重试或解析修复,不能直接换算为延迟、能耗或调用成本。

截至论文首版公开时,正文宣称“发布”7700 条训练与验证轨迹,但论文和 arXiv 记录没有给出 AGOS 数据集、评测代码或许可证的直接地址。主表也未报告重复运行、随机种子或置信区间。因而这些结果目前应视为作者在一个固定仿真测试集上的报告,而非已被第三方复现的系统结论。

这个评测最值得机器人团队带走的,不是“给模型更多工具就会更强”,而是一条更具体的工程原则:跨机器人协作需要把感知结论转换成另一台机器能够检查、拒绝和执行的中间状态。下一步真正决定 AGOS-Bench 能否越过论文演示的,是数据与代码能否完整下载,以及加入定位漂移、通信故障和动态目标后,这套交接协议还能保留多少成功率。

来源

  • Towards Embodied Air-Ground Cooperative Object Search: Benchmark, Dataset and Agentic Method · arXiv
  • AGOS-Bench arXiv submission record · arXiv
  • AirGroundBench: Probing Spatial Intelligence in Multimodal Large Models under Heterogeneous Multi-View Embodied Collaboration · arXiv
  • Towards Autonomous UAV Visual Object Search in City Space: Benchmark and Agentic Methodology · arXiv
  • CARLA-Air: Fly Drones Inside a CARLA World · arXiv

评论

登录后即可参与评论。

加载评论中…

相关文章

  • GPT-4o 与 Gemini Flash 在七类车载语音授权决策上的混淆矩阵

    车载语音模型一致率接近九成,仍会在授权关口多执行一步

    2026-09-17

  • R2S-Eval流程图:从真实环境校准仿真、采集策略执行视频,再由视觉语言模型成对比较并用Bradley–Terry模型汇总排名

    用仿真视频给六种机器人策略排名,视觉模型与人工偏好一致率应为90.9%

    2026-09-03

  • Earth-Agent-Pro 论文对现有遥感基准、现有 Agent 与新基准和系统的对比图

    遥感 Agent 开始自己找数据,参数准确率却止步 32.77%

    2026-09-11

  • Apple「The Illusion of Thinking」论文主图,展示推理模型在复杂性增加时思维 token 使用量反而下降的反直觉现象
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

本地视觉模型测试:受测 Qwen 配置关闭推理后得分更高

2026-06-25

  • Neverwhere 中真实扫描、3D Gaussian Splatting 近景与完整仿真场景的对照

    机器人先在 67 座数字场景里试错,逼真仿真仍没消除泛化缺口

    2026-09-14

  • SafeHarness 在桌面机械臂任务中绕开障碍物完成抓取与放置的流程对比

    机器人 Agent 看见酒瓶仍会撞上,安全约束不能只写在提示词里

    2026-09-17