Nvidia 为 Opus 5 配置记忆与监督系统,在交互推理公开测试中得满分 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

Nvidia 为 Opus 5 配置记忆与监督系统,在交互推理公开测试中得满分

2026-08-21 / 共 2,297 字

ARC Prize

8 月 21 日,Nvidia 研究者用自研的 AVO(Agentic Variation Operators)agent 架构,让 Claude Opus 5 在交互推理基准 ARC-AGI-3 上取得 100%,通关公开集全部 25 个环境、183 个关卡。同一模型使用官方通用配置时,成绩为 30.2%,是截至 7 月 24 日的榜单最高分。AVO 并非首个满分系统:MIT 的 VISTA、基于程序化世界模型的 Tycho,都已经用 Opus 5 做到 100%。三个团队的结果共同说明,评估长任务能力时,还需要看模型如何使用记忆、监督与工具。这套配套系统通常称为 harness;它会影响表现,但不能据此认定模型本身已不再重要。

两项成绩使用不同配置,不能直接相减

ARC-AGI-3 是 ARC Prize 推出的交互推理基准:agent 进入一个没有说明、没有规则、没有明示目标的 2D 游戏,只能通过「动作—观察」逐步推断规则与目标,并尽量少消耗动作。评分用 RHAE(Relative Human Action Efficiency,相对人类动作效率):完成一个关卡时,(人类基线动作数 ÷ agent 动作数)² 即该关卡得分,越靠后的关卡权重越高,单关卡封顶 1.15 倍。100% 意味着通关所有关卡,且效率不输首次游玩的人类。

在官方通用配置下,Claude Opus 5(High)在榜单上拿到 30.2%,是截至 7 月 24 日的最高分。它在 AR25、FT09 等五个游戏里已经单局满分,但在另一些游戏中没有得分,汇总成绩只有三成。使用 AVO 后,同一模型满分通关。

30.2% 与 100% 的对比,并非控制其他条件后、只改变 AVO 的实验。Nvidia 在博客里明说,两者的推理设置、观察表示、上下文管理都不同,不能把差值直接算作「AVO 的贡献」。榜单测试的是「模型 + 官方通用 harness」,100% 则来自另一套完整 agent 系统,比较时需要考虑配置差异。

AVO 从哪来:先优化 GPU 内核,再玩交互游戏

AVO 不是为 ARC-AGI-3 设计的。它最初是 Nvidia 的 GPU 内核自动优化系统:连续运行七天,探索 500 多个优化方向、提交 40 个内核版本,最终多注意力内核在 DGX B200 上比 FlashAttention-4 快至多 10.5%、比 cuDNN 快至多 3.5%。随后团队把同一个架构接到 ARC-AGI-3 的任务接口上——底层 agent 没变,只换了环境专用的工具。

AVO 主要依靠两个机制持续工作。一是持久记忆:把先前的实现、评测结果、编译器与 profiler 输出、累积的推理都带出单次上下文,让 agent 从当前状态续跑,而不是每次重新摸索。二是监督者 agent:监视主 agent 是否陷入停滞或重复无效循环,在主 agent 偏离任务时进行纠正。Nvidia AI 部门产品副总裁对 TechCrunch 的比喻是,监督者「几乎像 CEO,在 agent 走偏或钻进死胡同时推它一把」。

在 ARC-AGI-3 上,AVO 走的是「直接交互」路线:模型只接收 64×64 的文本网格,没有图像 token,也没有为基准专门写程序化世界模型——这与 Tycho 的「可执行世界模型」路线相反。结果是 6624 个环境动作通关,比同为直接交互路线、但用 512×512 视觉输入的 VISTA 少约 12%。

配套系统也会改变模型得分和任务成本

其他团队也报告了 harness 对结果的影响。7 月 29 日,OpenAI 公布了自己的复盘:GPT-5.6 Sol 在 ARC-AGI-3 上最初只拿 7.8%,官方通用 harness 下是 13.3%;只打开「保留推理」和「上下文压缩」两个 API 设置后,涨到 38.3%,输出 token 用量还降至原来的约六分之一。OpenAI 的结论是,问题出在 harness 丢弃了每步动作后的私有推理、并用滚动截断抹掉了早期历史,而不是模型不够聪明——它估计首次游玩的人类平均也才 48%。

Databricks 在 7 月给出的是成本维度的证据:在自家数百万行代码库的基准上,同一个模型配不同 harness,任务成本可差 2 倍以上,质量不变。差异主要来自每个回合喂给模型多少上下文——简单的 Pi 每轮只送约三分之一上下文,反而更快更省。

这些案例分别涉及游戏得分、上下文保留和任务成本,说明模型之外的系统配置也应纳入评估。

开发者应同时比较模型与上下文管理方式

选择 agent 时,除了模型,还需要比较其配套系统。对需要多步执行、持续运行并能恢复任务的团队,应检查记忆如何跨上下文保留、上下文如何压缩、是否有监督机制,以及工具如何接入运行环境。这些调整可能比更换模型更有效,具体收益仍需按任务验证。Databricks 内部据此把一部分日常任务从最贵模型下放到更小模型;Nvidia 则把 AVO 的立场延伸成商业主张——推动「开放 agent 栈」,让用户对 harness、基础设施和运行时都保有控制权。需要说明的是,AVO 目前是研究项目而非产品,Nvidia 的相关组件多挂在 NeMo 品牌下,部分是开放的。

满分仅覆盖公开集,内部推理成本未计入评分

解读结果需要保留四项限定。第一,100% 只覆盖 25 个环境的公开集,不含半私有与私有竞赛集,不能外推为「解决了 ARC-AGI-3 全部」。第二,满分存在被 harness 过度拟合的风险:当评分只数环境动作、不数内部推理与只读检查时,一个把探索成本外包给工具的架构天然占优——这是基准设计层面的问题,也会影响如何解读多个满分系统的成绩。第三,监督者 agent 不是新概念,AVO 的增量在于把记忆与监督做成通用组件并跨域复用,而不是提出全新范式。第四,Nvidia 的叙事自带立场:它卖的是整套算力与开放工具链,「harness 才是主角」对它有利,读者应把这一层与实验事实分开看。

来源

  • NVIDIA AVO Reaches 100% on ARC-AGI-3 · NVIDIA Developer Blog
  • Nvidia just showed that the harness, not the AI model, is now the real hero · TechCrunch
  • AVO: Agentic Variation Operators for Autonomous Evolutionary Search · arXiv
  • How enabling two settings tripled our scores on the ARC-AGI-3 benchmark · OpenAI
  • Benchmarking Coding Agents on Databricks' Multi-Million Line Codebase · Databricks
  • ARC-AGI-3 Scoring Methodology · ARC Prize
  • Claude Opus 5 (ARC Prize results) · ARC Prize
  • VISTA: A Visual Harness for Reasoning in an Interactive World · MIT
  • Tycho: Active Abstraction with Programmatic World Models for ARC-AGI-3 · arXiv

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 示意图:Codex 通过 Chrome DevTools 驱动应用验证自己的工作——选择目标、快照界面状态、触发操作、观察运行时事件、应用修复并循环重跑,展示 Harness 管理的执行循环。

    OpenAI 开源 Codex 执行框架,供开发者把智能体接入应用

    2026-08-24

  • Agent harness 结构图:模型位于中心,周围环绕着上下文注入、控制流、动作执行、持久化和观察层。

    编程 AI 的高分有多少来自模型?工具和运行框架也会改变成绩

    2026-07-11

  • CEO-Bench 中 Agent 需要协调定价、营销、研发、基础设施、企业销售等多项决策,模拟真实创业公司运营的复杂性

    让 AI 模拟经营公司 500 天:CEO-Bench 测试长期决策能力

    2026-06-16

  • WhatWorkedBench 流程图:Agent 在固定预算内选择实验、提交完整配置得分表,再与穷举 CPU 参考结果比较
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

科研 Agent 找到最优配置后,仍可能说不清什么有效

2026-09-23

  • NVIDIA Groq 3 LPX 机架渲染图,展示 Vera Rubin 平台中负责低延迟推理的加速器机架

    Nvidia 把竞争推向整套系统:GPU 之外,数据怎样更快送达

    2026-08-31

  • 世界地图,显示 Terminal-Bench-Science 提案与实现作者的全球地理分布

    斯坦福发布科研工作流基准,9 个模型中最高解决率为 30%

    2026-08-28