ENPIRE 让编程 Agent 训练真实机器人,自动迭代插针和剪扎带策略 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

ENPIRE 让编程 Agent 训练真实机器人,自动迭代插针和剪扎带策略

2026-06-18 / 共 2,653 字

NVIDIA / CMU / UC Berkeley

NVIDIA GEAR 实验室与 CMU、UC Berkeley 联合团队发布 ENPIRE,让编程 Agent 通过修改代码、运行实验和分析结果,改进真实机器人的操作策略。实验任务包括插针、安装 GPU 芯片和剪扎带。

北京时间 2026 年 6 月 18 日上线 arXiv 的论文 ENPIRE: Agentic Robot Policy Self-Improvement in the Real World,展示了一个名为 ENPIRE 的框架。框架分为两个阶段:先由人类指导 Agent 搭建和验证环境,再由 Agent 自主运行训练、执行和改进循环。人类需要提供演示和验收要求;后续实验才能减少逐次操作和打分。

环境先搭好,Agent 再循环训练、执行和改进

ENPIRE 的名称来自四个模块的缩写。它们分别负责准备环境、改进策略、执行任务和分析反馈:

Environment(EN,环境模块):编程 Agent 利用 SAM 3、cuRobo 等感知与规划工具 API,在人类提供少量成功与失败演示、明确验收要求后,构建自动重置与验证机制。任务完成后或失败时,机器人自动恢复初始状态。例如在插针任务中,Agent 将视觉对齐、末端高度与力估计结合起来判定结果,后续无需逐次人工打分。

Policy Improvement(PI,策略改进模块):Agent 审阅文献、提出假设,直接修改训练代码。它可以在多种范式间自由切换——启发式学习、行为克隆(BC)、离线/在线强化学习(RL)——并将改进后的策略提交到真实机器人上验证。

Rollout(R,执行模块):策略在单台或多台并行工作的 YAM 双臂机器人上执行,收集轨迹、视频与奖励信号,回传至 Agent 供下一步分析。

Evolution(E,分析与改进模块):Agent 检查日志、研究材料和代码,决定下一轮如何修改。在多机器人并行场景下,每台机器人配一个编程 Agent,各自在自己的 Git 分支上试验,再选择性地采用、合并或放弃其他 Agent 的方案。

共同通讯作者、NVIDIA 高级研究经理 Linxi "Jim" Fan 在 LinkedIn 上介绍,实验室已能让部分实验整夜自主迭代,研究人员次日查看报告。

实验覆盖四类操作,成功率包含失败后的重试

ENPIRE 在四项高难度灵巧操作任务上进行了验证:

  • Push-T:机器人通过非抓取式推挤,将 T 形块对齐到目标区域;
  • Pin Insertion(插针):将针插入直径仅 4mm 的孔中,整理针盒;
  • GPU Insertion(GPU 安装):将 GPU 芯片插入主板上的薄型插槽;
  • Zip-tie Cutting(扎带剪切):抓取剪刀并剪断扎带尾部。

论文衡量的是一次执行过程中完成任务的概率,并将允许的重试次数设为 8。重试时可以利用前一次失败的信息,因此这一结果包含自主纠错能力,不能直接当作单次操作的成功率。

作者报告,在 Push-T、插针和剪扎带等受控任务中,ENPIRE 训练出的策略成功率可达到 99%,这一指标包含上述重试设置。在插针任务上,团队还观察到,比此前的人机协同方法更快的收敛速度。

实验中使用了三款编程 Agent 进行横向对比:OpenAI Codex(GPT-5.5)、Anthropic Claude Code(Opus 4.7)和 Moonshot AI 的 Kimi Code(Kimi K2.6)。在模拟环境 Gym-PushT 中,Claude Code 和 Codex 均能在约 2 小时内达到 95% 成功率,而 Kimi Code 耗时约两倍。但在真实世界中,物理不确定性(接触摩擦、物体运动、硬件差异)构成了更大挑战:在真实 Push-T 的启发式学习实验中,三款 Agent 中只有一款成功。

八台机器人缩短训练时间,也消耗更多 Token

团队还测试了多机器人并行训练,分别比较 1、4、8 个 Agent 与机器人配对的表现:

  • 在 Push-T 任务中,8 个 Agent 将到达 1.0 归一化得分的时间从约 5 小时压缩到约 2 小时;
  • 在插针任务中,8 个 Agent 将收敛时间从超过 1.5 小时缩短到约 40 分钟。

在这两项实验中,增加机器人和 Agent 数量缩短了达到目标性能所需的实际时间。测试覆盖三个团队规模,其他任务是否也能获得类似收益,还需验证。

训练更快,也有资源代价。团队用**平均机器人利用率(MRU)衡量机器人实际工作的时间占比,用平均 Token 使用量(MTU)**记录每分钟消耗的 Token。随着 Agent 数量增加,机器人利用率反而下降:Agent 花了更多时间阅读其他分支的日志、总结报告,实际操作机器人的时间占比减少。总 Token 消耗则随团队规模超线性增长。

更大的团队能更快完成训练,却需要付出更高的 Token 成本。后续优化需要减少重复分析和协作等待,让机器人有更多时间执行有效实验。

把真实机器人操作接入编程 Agent 的实验流程

ENPIRE 探索的是,如何让编程 Agent 在真实硬件上反复提出方案、执行实验,再根据结果修改代码。

过去几年,AI Scientist、Agent Laboratory 等项目展示了 LLM 在数字环境中自主完成研究循环的能力——提出假设、运行实验、分析结果、撰写论文。这类数字实验通常能低成本重复。ENPIRE 把策略改进循环直接放到真实机器人上,Agent 还要应对光照变化、接触摩擦和硬件差异,机器人可用时间也成为实验约束。

作者在相关工作中把贡献界定为:在明确的硬件资源预算下,自主运行并优化物理机器人实验循环,同时衡量稀缺硬件的利用率。

为此,ENPIRE 将物理交互封装成编程 Agent 能调用的 Gym API。一旦环境构建完成,Agent 面对的就是一个标准化的 reset() → step() → get_reward() 循环,可以沿用熟悉的编程方式发起实验、获取反馈。接口统一之后,物理执行仍然受硬件和环境限制。

团队计划开源,资源效率和任务范围仍待改进

团队已宣布将 ENPIRE 开源。Jim Fan 希望借此降低搭建自动机器人实验流程的门槛。

论文也坦诚地列出了当前局限:机器人和 GPU 资源利用率不足、Token 成本随团队规模超线性增长、以及当前仅在相对结构化的操作任务上验证。这些限制决定了它目前更适合有明确任务、重置机制和验证标准的实验环境。

项目由 UC Berkeley 的 Ken Goldberg、NVIDIA GEAR 的 Linxi "Jim" Fan 与 Yuke Zhu、CMU 的 Guanya Shi 共同指导,第一作者 Wenli Xiao 等来自 NVIDIA、CMU 和 UC Berkeley 三所机构。

下一步要看,这套流程能否以可接受的成本迁移到更多任务,以及在更少人工准备的条件下,仍能稳定重置环境、识别失败并改进策略。

来源

  • ENPIRE: Agentic Robot Policy Self-Improvement in the Real World · arXiv
  • ENPIRE Project Page — NVIDIA GEAR Lab · NVIDIA Research
  • AI coding agents taught robots how to install GPUs and cut zip ties · Ars Technica
  • AI agents take over robot training at Nvidia · Techzine
  • Jim Fan's LinkedIn post on ENPIRE · LinkedIn

评论

登录后即可参与评论。

加载评论中…

相关文章

  • AI4AI-Bench 十项任务的算法、起始模型与最终评估指标总览

    RSI 算法改进评测:AI 改写训练代码,超四成结果不如原始方案

    2026-09-08

  • EmbodiedSWE-Gen 将一个已验证机器人解法沿场景、策略、阶段、动力学和视觉五层扩展为训练轨迹

    编码 Agent 写完机器人策略后,解法才开始变成训练数据

    2026-09-23

  • 论文图 1:SWE-bench Verified 上各模型的解题率随时间上升,同时补丁臃肿比保持高位且与解题能力几乎不相关

    AI 代码通过测试后仍可能难审查,13 位研究者呼吁重视人机协作

    2026-08-17

  • Bespoke Labs 融资公告封面图,展示 AI Agent 训练环境平台定位
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

Bespoke Labs 两轮融资合计 4000 万美元,为 AI Agent 搭建训练环境

2026-07-06

  • PRINCE 系统架构:涵盖用户界面、LangGraph 编排层、数据存储、LLM 多供应商 fallback 与可观测性体系

    拜耳科研平台 PRINCE:从检索研究报告到辅助起草申报材料

    2026-06-24

  • BRIDGE 人形机器人的形态设计流程、整机与实机动作序列

    BRIDGE 把人形机器人身体设计纳入控制训练,但完整开源仍待兑现

    2026-09-04