编码 Agent 写完机器人策略后,解法才开始变成训练数据 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

编码 Agent 写完机器人策略后,解法才开始变成训练数据

2026-09-23 / 共 2,439 字

EmbodiedSWE 论文

一个编码 Agent 花了 79 分钟,让仿真机械臂完成咖啡制作;接下来的时间,它没有去做另一项任务,而是继续加固这段解法。9 月 23 日提交的预印本 EmbodiedSWE 把这个看似低效的过程变成了机器人数据管线的起点:先让 Agent 写出能通过物理验证的程序,再把一个解法扩成大量轨迹,用来微调视觉—语言—动作模型(VLA)。

这项工作的价值不只是“编码 Agent 也会控制机器人”。更关键的变化是,Agent 不必留在实时控制回路里;它可以在仿真中反复试错,把昂贵的推理浓缩成可批量执行、可复查的代码,再由轻量策略在部署时运行。代价也随之转移:团队少采一部分遥操作演示,却必须证明仿真、评分器和扩增出来的轨迹没有把单个解法的偏差复制成训练数据。

Agent 交付的是一段程序,不是通用机器人策略

EmbodiedSWE-Bench 包含 28 项任务,覆盖装配、收纳、谜题、柔性物体或液体、切割和移动操作,最长任务持续约半小时。Agent 拿到任务说明、场景代码、完整仿真状态和通用控制器,在隔离容器里迭代 Python 程序,最终交付一个 solve(env) 函数。每次运行用一张 RTX 4090,预算为 4 小时;提交物会在独立环境中离线评分,直接改物体状态等接口被关闭。

六个模型各在每项任务上运行一次,成功率从 11% 到 82% 不等。最强模型的 82% 说明程序搜索在这批任务上已经相当有效,却不是跨种子稳定性,也不代表模型学会了一个可直接迁移的机器人策略。论文还明确记录了三类失败:不看画面而误判进度、在错误分解上反复调参,以及绕开机器人去攻击评分器。所有任务都曾由有领域经验的人配合编码模型完成,因此这项基准衡量的是固定预算内的自主搜索能力,不是任务本身是否可解。

这一步延续了近期“代码即策略”的路线,但把目标推得更远。CaP-X 发现,编码 Agent 的操控表现会随着人工设计抽象被移除而下降;RHO 则让 Agent 在训练阶段搜索可解释的多文件策略仓库,部署时单次执行。EmbodiedSWE 同样把慢速试错留在部署前,新增的问题是:一段高度贴合任务实例的程序,能不能继续成为学习型策略的老师。

五层扩增把一次成功改造成数据工厂

EmbodiedSWE-Gen 从一段已验证解法出发,沿五个层级扩增。Agent 改场景里的物体、工具和布局,改步骤顺序、抓取点与恢复分支,也从任务中段构造新的起始状态;随后管线加入动作扰动和质量、摩擦等物理随机化,再对同一物理轨迹更换光照、纹理、背景和相机视角。

这与从少量人类轨迹出发的自动扩增不同。SkillMimicGen 用 60 条人类演示生成了 18 个任务变体上的 2.4 万余条演示;EmbodiedSWE 试图把起始种子也换成 Agent 写出的程序。程序能暴露阶段边界、成功条件和可调参数,让系统不只移动物体初始位置,还能改变策略与中间状态覆盖。

规模化并不等于免费。论文按首方价表统计,各模型“成功运行”的平均 API 花费约为每任务 13 至 73 美元,外加 GPU;各个多样化阶段又分别给到最长 12 小时预算。真正降低的是摊到后续轨迹上的 Agent 成本,而不是首次解题成本。首发代码在目标日期前已公开,包含 benchmark、评测、数据引擎、VLA 和真机到仿真模块,但复现仍需要 Linux、NVIDIA GPU、Isaac Sim/Lab 以及约 3.4 GB 任务资源。

验证器决定了哪些“成功”可以进入训练集

扩增后的轨迹不会因仿真跑完就被收下。每条记录先过任务评分器,再以相同初始状态、物理参数和控制器设置做开环动作重放;重放不能再次成功,就被剔除。场景、策略和阶段变体还要避免字节级重复,并至少贡献一条可重放的成功轨迹。

这套门槛解释了 EmbodiedSWE 的真正工程贡献:编码 Agent 负责提出变化,确定性管线负责批量执行,评分器负责筛选。它也划定了证据边界。部分任务使用仿真状态评分,部分使用人工量表配合视觉语言模型;接触力学、成功条件和允许变化的范围都由作者设计。验证器能阻止已知作弊和不可重放轨迹,却不能证明仿真里的“成功”覆盖了现实世界中尚未建模的故障。

数据规模实验也要按口径阅读。论文正文声明在六项任务上,把每项演示从 10 条增到 400 条后,SmolVLA 的平均成功率从 18% 升至 69%。同一版附录表实际列出八项任务;若把八行全部等权平均,结果约为 14% 和 66%。趋势没有改变,但均值会随纳入任务集合变化。更有说服力的对照来自分布外测试:在相同的每任务 1000 条训练轨迹下,加入 Agent 场景、策略和阶段扩增后,六项任务的平均量表得分由脚本随机化的 0.066 升至 0.233,且每项都更高。

真机完成两次拆灯,还不是通用 sim-to-real

团队最后让 Opus 5 为拆灯任务写逆运动学解法,生成 500 条成功仿真轨迹,只用这些轨迹微调预训练的 π0.5-DROID。真机评测共 10 次:抓住灯罩成功 10 次,放下灯罩 8 次,继续抓住灯泡 3 次,完整旋出并取下灯泡 2 次;未微调基线在各阶段都是 0。

“没有真机演示”不等于“没有真机适配”。作者用实验室照片重建 3D Gaussian Splatting 场景,测量桌面,微调相机、材质与局部重建误差,并把仿真灯具 3D 打印出来;训练时还围绕真实标定范围做外观与相机扰动。部署的 1.4 万步 checkpoint 也是依据真机表现,从 2 万步训练过程里选出的。这个实验因此证明的是:在一个经过现实校准的任务上,纯仿真演示可以产生非零的长程真机成功率;它没有证明同一策略能搬到新房间、新物体或新任务。

EmbodiedSWE 把编码 Agent 从“在线控制器”改造成了离线数据工程师,这条路线值得关注,因为慢模型只需为高价值解法付一次推理成本,后续轨迹可以并行生成。但下一步决定它能否替代一部分遥操作的,不是再增加一个仿真任务,而是按相同的人时、算力和成功标准,与人类演示扩增正面对比,并在多个真机任务上预先固定 checkpoint。只有那时,行业才能判断这里被规模化的究竟是机器人能力,还是一套越来越精细的仿真与验证工程。

来源

  • EmbodiedSWE: Coding Agents for Long Horizon Dexterous Robotics(v1) · arXiv
  • EmbodiedSWE 公开代码(目标日期前提交) · GitHub
  • CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation(v2) · arXiv
  • RHO: Your Coding Agent is Secretly a Roboticist · arXiv
  • SkillMimicGen: Automated Demonstration Generation for Efficient Skill Learning and Deployment · CoRL 2024 / arXiv

评论

登录后即可参与评论。

加载评论中…

相关文章

  • RealSWE 论文图 2:真实用户请求(SWE-chat)与 SWE-bench 问题在信息构成和语言风格上的分布对比

    请求写得更像真实用户后,编码 AI 解题率平均降了 6.4 个百分点

    2026-08-31

  • WhatWorkedBench 流程图:Agent 在固定预算内选择实验、提交完整配置得分表,再与穷举 CPU 参考结果比较

    科研 Agent 找到最优配置后,仍可能说不清什么有效

    2026-09-23

  • BenchFlow 沙箱加固结果图,比较 SkillsBench、SWE-Bench Verified 和 Terminal-Bench 2 的奖励黑客比例变化

    BenchShield 把 Agent 评测证据从对话扩到完整奖励路径

    2026-09-10

AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact
AI4AI-Bench 十项任务的算法、起始模型与最终评估指标总览

RSI 算法改进评测:AI 改写训练代码,超四成结果不如原始方案

2026-09-08

  • SWE-bench 排行榜分辨率审计流程图:从逐题结果与不完整元数据,分析共同成败、模型与 scaffold 组合以及相邻排名能否区分

    SWE-bench 前 30 名挤成两到三档,小数点名次证据不足

    2026-09-15

  • CADWorld 论文展示同一三棱柱任务的人类参考结果与多种 Agent 输出对比,外观相近的模型仍可能因结构或建模过程错误而失败

    CAD Agent 画得像还不够,CADWorld 把工程文件纳入判分

    2026-09-21