NVIDIA发布Cosmos 3:首个全开源物理AI全模态基础模型,7项基准登顶,Mixture-of-Transformers架构统一推理与生成
- 6月1日,NVIDIA在GTC Taipei发布Cosmos 3,这是全球首个全开源的全模态物理AI基础模型(omnimodel),基于全新的Mixture-of-Transformers(MoT)架构:一个自回归推理transformer与一个扩散生成transformer并行运行,统一处理文本、图像、视频、音频和动作序列的推理与生成。
- 核心能力:同一模型可充当视觉语言模型(VLM)、世界模型/视频生成模型、以及世界动作模型(World Action Model)的骨干——开发者可根据任务需要切换输入输出模态组合,将物理AI的训练与评估周期从"数月"压缩至"数天"。
- 基准表现:在开放模型中,Cosmos 3在7项物理AI基准中排名第一:世界生成(Artificial Analysis、Physics-IQ、PAI-Bench、R-Bench)、机器人动作策略(RoboLab、RoboArena)、工业视觉理解(VANTAGE-Bench、TAR)。
- 模型矩阵:Cosmos 3 Super(最高物理精度与生成质量,面向机器人/AV后训练)、Cosmos 3 Nano(秒级视频与动作推理)、Cosmos 3 Edge(即将推出,面向边缘端实时推理)。
- 可复现性:模型权重在Hugging Face(nvidia/Cosmos3-Nano、nvidia/Cosmos3-Super)和GitHub(github.com/nvidia/cosmos)完全开源,支持Diffusers微调,可通过NVIDIA NIM微服务部署。配套开放数据集覆盖机器人、物理、人体运动、自动驾驶、仓储安全与空间推理。
- 行业意义:Cosmos 3是Physical AI从"碎片化仿真栈"走向"统一基础模型"的关键转折。与Figure的闭源Helix S0、Tesla的Optimus内部训练管线不同,NVIDIA选择了完全开放路线——这直接降低了机器人策略模型(policy model)的训练门槛,中小团队可用Cosmos 3生成合成数据并训练下游策略,无需自建大规模仿真基础设施。但需注意:世界模型生成的"物理准确性"在真实机器人部署中仍需逐任务验证,sim-to-real gap并未消失。
来源:NVIDIA Newsroom(https://nvidianews.nvidia.com/news/nvidia-launches-cosmos-3-the-open-frontier-foundation-model-for-physical-ai) / Hugging Face Blog(https://huggingface.co/blog/nvidia/cosmos-3-for-physical-ai)
AGIBOT WORLD CHALLENGE 2026收官:526支队伍从仿真杀入真机闭环,vivo与中科院自动化所分获双赛道冠军

- 6月2日至5日,智元机器人(AGIBOT)在维也纳ICRA 2026同期举办AGIBOT WORLD CHALLENGE 2026,吸引来自27个国家的526支研究与产业团队参赛,总奖金池53万美元。竞赛设两条赛道:推理到动作(R2A)与世界模型(WM)。
- R2A赛道:从2025年的纯操作赛升级为覆盖"环境理解→任务规划→物理执行"的完整链路。vivo的PrismBot夺得冠军,Shanghai RoboParty的RP-VLA和GreenVLA分列二三位。赛道使用AGIBOT WORLD开源数据集训练,Genie Sim 3.0评估,涵盖语言理解、空间推理、原子技能、扰动适应与零样本迁移。
- WM赛道:中科院自动化所与Amap CV Lab联合团队NeoVerse-ABot获第一,中科院工业人工智能研究所PAI@IAII第二,中国科学技术大学Loop第三。该赛道引入物体掉落、抓取失败等非理想物理交互,更贴近真实世界复杂性。
- 关键转折——从仿真分数到真机闭环:本届竞赛的最大变化在于,决赛团队必须在AGIBOT G2人形机器人上完成真实场景任务,机器人稳定性、物理世界适应性、长程任务可靠性被置于评分核心。AGIBOT同时开放了全栈工具链:AGIBOT WORLD开源数据集、Genie Sim 3.0、EWMBench标准化基准,以及通过API远程控制真机的"真实超市"附加赛道(与Dexmal合作)。
- 可复现性:竞赛基准、数据集与评估框架已公开;AGIBOT表示将持续维护在线仿真排行榜并引入更多任务与多样化基准。
- 行业意义:这是具身智能竞赛从"仿真刷榜"走向"真机部署"的标志性事件。与ImageNet时代仅看准确率不同,AGIBOT将"能在真实机器人上跑通"作为硬性指标——这直接回应了行业对"仿真高分、真机翻车"的普遍焦虑。AGIBOT在2026年3月已宣布第10,000台机器人下线,其同时扮演"平台提供商+竞赛主办方"的双重角色,正在构建类似NVIDIA在AI领域的生态位。
来源:PRNewswire(https://www.prnewswire.com/de/pressemitteilungen/agibot-world-challenge-2026-advances-embodied-ai-competition-from-simulation-to-real-robot-testing-at-icra-2026-302792638.html) / AGIBOT官网(https://www.agibot.com/article/231/detail/42.html)
