AGI Daily
广告
AGI Daily跟踪世界 AGI 进展AGI INTELLIGENCE · DAILY
全部算力算法数据人物日报主题
AGI Daily
全部算力算法数据人物日报主题
广告

Nvidia AVO 让 Opus 5 在 ARC-AGI-3 满分:长程任务的关键变量是 harness

2026-08-21 / 1 天前 · 共 2,292 字

Agent
ARC Prize

8 月 21 日,Nvidia 研究者用自研的 AVO(Agentic Variation Operators)agent 架构,把 Claude Opus 5 在交互推理基准 ARC-AGI-3 上的成绩从 30.2% 拉到 100%,满分通关全部 25 个环境、183 个关卡。同一个模型,裸跑时是截至 7 月 24 日的榜单最高分,套上外壳后拿到满分——这个反差比「又一个 100%」更值得读。但先要澄清一件事:满分并不是 AVO 的首创。MIT 的 VISTA、基于程序化世界模型的 Tycho,都已经用 Opus 5 做到 100%。真正值得读的信号是:三个团队用三种不同架构,在同一基座模型上抵达了同一个结论——决定长程任务表现的早已不是模型本身,而是由记忆、监督与工具组成的 harness。

30.2% 与 100% 之间隔着什么

ARC-AGI-3 是 ARC Prize 推出的交互推理基准:agent 进入一个没有说明、没有规则、没有明示目标的 2D 游戏,只能通过「动作—观察」逐步推断规则与目标,并尽量少消耗动作。评分用 RHAE(Relative Human Action Efficiency,相对人类动作效率):完成一个关卡时,(人类基线动作数 ÷ agent 动作数)² 即该关卡得分,越靠后的关卡权重越高,单关卡封顶 1.15 倍。100% 意味着通关所有关卡,且效率不输首次游玩的人类。

裸跑状态下,Claude Opus 5(High)在榜单上拿到 30.2%,是截至 7 月 24 日的最高分。它并非完全不会玩——在 AR25、FT09 等五个游戏里已经单局满分——但另一些游戏颗粒无收,聚合下来只有三成。装上 AVO 后,同一模型满分通关。

必须强调的是,30.2% 到 100% 不是受控消融。Nvidia 在博客里明说,两者的推理设置、观察表示、上下文管理都不同,不能把差值直接算作「AVO 的贡献」。它说明的是另一件事:榜单上测的是「裸模型 + 官方通用 harness」,而 100% 测的是「完整 agent 系统」,两者不是同一个对象。

AVO 从哪来:先优化 GPU 内核,再玩交互游戏

AVO 不是为 ARC-AGI-3 设计的。它最初是 Nvidia 的 GPU 内核自动优化系统:连续运行七天,探索 500 多个优化方向、提交 40 个内核版本,最终多注意力内核在 DGX B200 上比 FlashAttention-4 快至多 10.5%、比 cuDNN 快至多 3.5%。随后团队把同一个架构接到 ARC-AGI-3 的任务接口上——底层 agent 没变,只换了环境专用的工具。

支撑它跑得动的,是两个机制。一是持久记忆:把先前的实现、评测结果、编译器与 profiler 输出、累积的推理都带出单次上下文,让 agent 从当前状态续跑,而不是每次重新摸索。二是监督者 agent:监视主 agent 是否陷入停滞或重复无效循环,在偏离方向时把它拽回来。Nvidia AI 部门产品副总裁对 TechCrunch 的比喻是,监督者「几乎像 CEO,在 agent 走偏或钻进死胡同时推它一把」。

在 ARC-AGI-3 上,AVO 走的是「直接交互」路线:模型只接收 64×64 的文本网格,没有图像 token,也没有为基准专门写程序化世界模型——这与 Tycho 的「可执行世界模型」路线相反。结果是 6624 个环境动作通关,比同为直接交互路线、但用 512×512 视觉输入的 VISTA 少约 12%。

三个独立证据指向同一个结论

「harness 比模型更关键」不是 Nvidia 一家的说法。7 月 29 日,OpenAI 公布了自己的复盘:GPT-5.6 Sol 在 ARC-AGI-3 上最初只拿 7.8%,官方通用 harness 下是 13.3%;只打开「保留推理」和「上下文压缩」两个 API 设置后,涨到 38.3%,输出 token 还少了 6 倍。OpenAI 的结论是,问题出在 harness 丢弃了每步动作后的私有推理、并用滚动截断抹掉了早期历史,而不是模型不够聪明——它估计首次游玩的人类平均也才 48%。

Databricks 在 7 月给出的是成本维度的证据:在自家数百万行代码库的基准上,同一个模型配不同 harness,任务成本可差 2 倍以上,质量不变。差异主要来自每个回合喂给模型多少上下文——简单的 Pi 每轮只送约三分之一上下文,反而更快更省。

把三者叠起来,脉络就清楚了:模型提供「智力」,harness 决定这份智力在长程任务里能兑现多少、花多少钱。

对开发者意味着什么

过去选 agent 约等于选模型,现在模型只是其中一个旋钮。对要做长程、多步、可恢复工作的团队,记忆如何跨上下文保留、上下文如何压缩、有没有一个能纠偏的监督层、工具与运行时如何接,往往是比换一个更强模型更有效的杠杆。Databricks 内部据此把一部分日常任务从最贵模型下放到更小模型;Nvidia 则把 AVO 的立场延伸成商业主张——推动「开放 agent 栈」,让用户对 harness、基础设施和运行时都保有控制权。需要说明的是,AVO 目前是研究项目而非产品,Nvidia 的相关组件多挂在 NeMo 品牌下,部分是开放的。

边界与还没有答案的问题

有四点需要留神。第一,100% 只覆盖 25 个环境的公开集,不含半私有与私有竞赛集,不能外推为「解决了 ARC-AGI-3 全部」。第二,满分存在被 harness 过度拟合的风险:当评分只数环境动作、不数内部推理与只读检查时,一个把探索成本外包给工具的架构天然占优——这是基准设计层面的问题,也是多个满分系统共同的软肋。第三,监督者 agent 不是新概念,AVO 的增量在于把记忆与监督做成通用组件并跨域复用,而不是提出全新范式。第四,Nvidia 的叙事自带立场:它卖的是整套算力与开放工具链,「harness 才是主角」对它有利,读者应把这一层与实验事实分开看。

来源

  1. NVIDIA AVO Reaches 100% on ARC-AGI-3 · NVIDIA Developer Blog
  2. Nvidia just showed that the harness, not the AI model, is now the real hero · TechCrunch
  3. AVO: Agentic Variation Operators for Autonomous Evolutionary Search · arXiv
  4. How enabling two settings tripled our scores on the ARC-AGI-3 benchmark · OpenAI
  5. Benchmarking Coding Agents on Databricks' Multi-Million Line Codebase · Databricks
  6. ARC-AGI-3 Scoring Methodology · ARC Prize
  7. Claude Opus 5 (ARC Prize results) · ARC Prize
  8. VISTA: A Visual Harness for Reasoning in an Interactive World · MIT
  9. Tycho: Active Abstraction with Programmatic World Models for ARC-AGI-3 · arXiv

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 一台人形机器人参赛者于 8 月 19 日在北京国家速滑馆进行第二届世界人形机器人运动会赛前测试

    跑得比博尔特快、却撞上电箱:人形机器人运动会的自主化考题

    算法 · 2026-08-22

  • 西门子在 CES 2024 消费电子展的展台

    五部门警告:黑客正用 AI 生成的漏洞脚本攻击美国关键基础设施

    算法 · 2026-08-22

  • Cursor 应用图标在 macOS Dock 上的特写

    Cursor 发布 Origin 代码托管平台:把「存代码」也收进 AI 编码栈

    算法 · 2026-08-21

  • 冷冻电镜重构:一个由基因组语言模型设计出的功能性噬菌体颗粒

    Evo 2 首次生成 16 个可用噬菌体:'从零设计'的真实增量与边界

    算法 · 2026-08-19

  • 金色 Tesla Cybercab 无方向盘、无踏板的专用 robotaxi

    特斯拉 Cybercab 计划本月在奥斯汀公测:专用车已量产,自动驾驶仍未规模验证

    算法 · 2026-08-18

  • ChatGPT for Teens 界面截图,展示 Study Mode 用引导式提问帮助青少年逐步解答代数题,而不是直接给出答案

    ChatGPT for Teens 上线:OpenAI 把未成年人安全做成默认产品

    算法 · 2026-08-18

AGIDaily跟踪世界 AGI 进展© 2026 AGIDaily
关于邮件栏目主题定制投稿招聘广告SkillTermsContactRSS