11 月 9 日，英伟达在奥斯汀举行的机器人学习会议 CoRL 上发布 GR00T 2。这是一种世界动作模型，会同时预测接下来的画面和机器人要执行的动作。公司研究页写明了测试条件：50 项任务只在人类视频或其他机器人的数据里出现过，目标机器人自己没有练过。只看指令、不做示范时，试次成功率是 40%，50 项里有 40 项至少成功过一次。补上一次示范，平均成功率升到 71%；补上五次示范，也就是每项不到 3 分钟的机器人数据，再用单张 RTX 5090 做 30 分钟 LoRA 微调后，平均成功率到 95%，其中 37 项每次都成功。
这些数字都来自英伟达自己的评测。测试用的是装有两只 22 自由度 Sharpa 灵巧手的双臂机器人。公司把零次示范时的多数失败写成执行精度不够，步骤顺序往往是对的。
先预测接下来的画面，再输出动作
GR00T 2 建立在英伟达的 Cosmos-Predict2.5-2B 视频扩散模型上，用一个约 20 亿参数的变换器，把未来画面和一段动作一起去噪。它读取最近 0.8 秒里三个摄像头的画面、语言指令和当时的关节状态，再由各自身体对应的输出头写成电机指令。技术报告把这一点写成共同目标：人类视频里本来没有机器人动作，预测画面变化让这部分数据也能用来训练。
预训练用的是三类数据的混合物：40.273 万小时人类工作的第一人称视频，1.0184 万小时手持 UMI 夹爪示范（覆盖 2897 项任务），以及 2.35 万小时机器人遥操作。机器人数据覆盖平行夹爪机械臂 YAM 和 Franka、Sharpa 与 Wuji 灵巧手，以及 Unitree G1 人形机器人。人类视频来自公司的 Human-1M 数据集，其中 10 万小时已以 Human-1M-100K 的名称放在 Hugging Face 上，数据集页写明可用于商业和非商业用途。
为了衡量人类视频的作用，研究团队用完全不用、1%、10% 和全部人类视频分别预训练，再在 72 项 Dexter 后续任务上比较。任务进度随数据量上升：视频回放里从 64% 升到 77%，真机上从 50% 升到 70%。研究页还展示了跨身体迁移。只看过人类示范、目标机器人没遥操作过该项任务时，一只双五指机器人给漏斗垫滤纸并润湿的成功率为 65%；只看过手持夹爪示范时，YAM 机械臂能把玩具自卸车从头装到尾，成功率 60%，整段最长约 4 分钟。
代理负责核对和补救，轻量版跑进人形机
长任务里，推理模型负责拆步骤、看进度、写代码，GR00T 2 负责接触精度高、不好直接写成程序的操作。研究页给出的组装测试从把零件倒在桌上开始，这种杂乱布局不在后训练数据里。接上代理后，YAM 组装玩具飞机、玩具拖拉机和风火轮小车的成功次数分别是 100 次里的 98、97 和 97；同一套后训练策略不接代理是 71% 到 84%，只做成监督后训练则是 23% 到 69%。插网线、插充电器这类接触密集的动作，再用真机强化学习补过精度。五根以太网线依次插入交换机时，全程成功从 20 次里的 12 次升到 19 次；把五个充电器插进人指出的插座，从 2 次升到 20 次。
代理还可以在画面上标出抓取点和放下点。在 YAM 上，只给任务指令时，关于“搬什么、放到哪”的短指令成功率是 40%；加上分步说明和标记后升到 92%。长任务上，差别更明显：没有标记时，垃圾分拣和拆板任务一次也没做完；有标记后，垃圾分拣 20 次里完成 17 次，拆板 10 次里完成 3 次。标记给不出物体最终朝向，也给不出倾倒、擦拭这类途中动作，这些仍要靠语言。
面向本体计算更紧的场景，英伟达还发布了 GR00T 2 Turbo。技术报告写明，Turbo 仍使用约 20 亿参数的视频-动作变换器，但把视频压得更紧。在 Unitree G1 自带的 Jetson Thor 上，一次预测的中位耗时是 124 毫秒，大约每秒规划 1.6 秒的全身动作，再由 SONIC 控制器以 50 赫兹写成关节目标。真机任务表里，倒爆米花并装杯的 48 次全部成功，此前的 GR00T 1.7 是 83.3%；清理桌面上不同物体的 30 次里成功 28 次；从地面捡起同类物体的 30 次里成功 25 次。用脚擦掉洒出液体并收走毛巾和杯子的任务仍然吃力，Turbo 30 次里成功 14 次，GR00T 1.7 是 13 次。
同一天的公司博客还写了应用试验。英伟达称，鸿海正在把 GR00T 2 用于服务器制造的工厂自动化，西门子在工业场景里评估，Nexuni 在测试衣物处理，MicroAGI 用强化学习后训练的模型在 YAM 手臂上更换以太网线。这些都是英伟达的表述，上述公司没有同期公布产线数据。伴随发布的还有开源训练框架 Isaac Lab 3.0。在一项基于视觉的灵巧操作基准上，公司称它与物理引擎 Newton 搭配后，训练吞吐最高约为 Isaac Lab 2.3 搭配 PhysX 时的 2.5 倍。
开放的是部分数据，代码还要等到 12 月
英伟达博客把 GR00T 2 称作开放的前沿世界动作模型。研究页上现在能直接打开的是技术报告；代码按钮写的是 12 月提供。已经公开的是 Human-1M 的 10 万小时子集，不是完整的模型权重。
评测口径也有边界。技术报告写明，后训练基准每项任务最多做 20 次试验，足以分清 GR00T 2 和对照模型之间的大差距，但不足以分清 95% 和 99%。按报告里的计算，要区分这两个数字，大约需要每个策略 285 次试验。公司另外用盲测一对一比较来排版本：四个月里评了 71 个检查点。对照模型主要是前代 GR00T 1.7 和 π0.5，同样是英伟达自己跑的。
对想在自己的机器人上复现这组数字的人来说，12 月的代码是下一道可以核对的门槛。95% 对应的是一套写清了的协议：任务对目标机器人是新的，示范次数有限，微调时间也有限。工厂里能不能用，目前还停在合作伙伴测试的公司表述。
