8 月 21 日,Nvidia 研究者用自研的 AVO(Agentic Variation Operators)agent 架构,把 Claude Opus 5 在交互推理基准 ARC-AGI-3 上的成绩从 30.2% 拉到 100%,满分通关全部 25 个环境、183 个关卡。同一个模型,裸跑时是截至 7 月 24 日的榜单最高分,套上外壳后拿到满分——这个反差比「又一个 100%」更值得读。但先要澄清一件事:满分并不是 AVO 的首创。MIT 的 VISTA、基于程序化世界模型的 Tycho,都已经用 Opus 5 做到 100%。真正值得读的信号是:三个团队用三种不同架构,在同一基座模型上抵达了同一个结论——决定长程任务表现的早已不是模型本身,而是由记忆、监督与工具组成的 harness。
30.2% 与 100% 之间隔着什么
ARC-AGI-3 是 ARC Prize 推出的交互推理基准:agent 进入一个没有说明、没有规则、没有明示目标的 2D 游戏,只能通过「动作—观察」逐步推断规则与目标,并尽量少消耗动作。评分用 RHAE(Relative Human Action Efficiency,相对人类动作效率):完成一个关卡时,(人类基线动作数 ÷ agent 动作数)² 即该关卡得分,越靠后的关卡权重越高,单关卡封顶 1.15 倍。100% 意味着通关所有关卡,且效率不输首次游玩的人类。
裸跑状态下,Claude Opus 5(High)在榜单上拿到 30.2%,是截至 7 月 24 日的最高分。它并非完全不会玩——在 AR25、FT09 等五个游戏里已经单局满分——但另一些游戏颗粒无收,聚合下来只有三成。装上 AVO 后,同一模型满分通关。
必须强调的是,30.2% 到 100% 不是受控消融。Nvidia 在博客里明说,两者的推理设置、观察表示、上下文管理都不同,不能把差值直接算作「AVO 的贡献」。它说明的是另一件事:榜单上测的是「裸模型 + 官方通用 harness」,而 100% 测的是「完整 agent 系统」,两者不是同一个对象。
AVO 从哪来:先优化 GPU 内核,再玩交互游戏
AVO 不是为 ARC-AGI-3 设计的。它最初是 Nvidia 的 GPU 内核自动优化系统:连续运行七天,探索 500 多个优化方向、提交 40 个内核版本,最终多注意力内核在 DGX B200 上比 FlashAttention-4 快至多 10.5%、比 cuDNN 快至多 3.5%。随后团队把同一个架构接到 ARC-AGI-3 的任务接口上——底层 agent 没变,只换了环境专用的工具。
支撑它跑得动的,是两个机制。一是持久记忆:把先前的实现、评测结果、编译器与 profiler 输出、累积的推理都带出单次上下文,让 agent 从当前状态续跑,而不是每次重新摸索。二是监督者 agent:监视主 agent 是否陷入停滞或重复无效循环,在偏离方向时把它拽回来。Nvidia AI 部门产品副总裁对 TechCrunch 的比喻是,监督者「几乎像 CEO,在 agent 走偏或钻进死胡同时推它一把」。
在 ARC-AGI-3 上,AVO 走的是「直接交互」路线:模型只接收 64×64 的文本网格,没有图像 token,也没有为基准专门写程序化世界模型——这与 Tycho 的「可执行世界模型」路线相反。结果是 6624 个环境动作通关,比同为直接交互路线、但用 512×512 视觉输入的 VISTA 少约 12%。
三个独立证据指向同一个结论
「harness 比模型更关键」不是 Nvidia 一家的说法。7 月 29 日,OpenAI 公布了自己的复盘:GPT-5.6 Sol 在 ARC-AGI-3 上最初只拿 7.8%,官方通用 harness 下是 13.3%;只打开「保留推理」和「上下文压缩」两个 API 设置后,涨到 38.3%,输出 token 还少了 6 倍。OpenAI 的结论是,问题出在 harness 丢弃了每步动作后的私有推理、并用滚动截断抹掉了早期历史,而不是模型不够聪明——它估计首次游玩的人类平均也才 48%。
Databricks 在 7 月给出的是成本维度的证据:在自家数百万行代码库的基准上,同一个模型配不同 harness,任务成本可差 2 倍以上,质量不变。差异主要来自每个回合喂给模型多少上下文——简单的 Pi 每轮只送约三分之一上下文,反而更快更省。
把三者叠起来,脉络就清楚了:模型提供「智力」,harness 决定这份智力在长程任务里能兑现多少、花多少钱。
对开发者意味着什么
过去选 agent 约等于选模型,现在模型只是其中一个旋钮。对要做长程、多步、可恢复工作的团队,记忆如何跨上下文保留、上下文如何压缩、有没有一个能纠偏的监督层、工具与运行时如何接,往往是比换一个更强模型更有效的杠杆。Databricks 内部据此把一部分日常任务从最贵模型下放到更小模型;Nvidia 则把 AVO 的立场延伸成商业主张——推动「开放 agent 栈」,让用户对 harness、基础设施和运行时都保有控制权。需要说明的是,AVO 目前是研究项目而非产品,Nvidia 的相关组件多挂在 NeMo 品牌下,部分是开放的。
边界与还没有答案的问题
有四点需要留神。第一,100% 只覆盖 25 个环境的公开集,不含半私有与私有竞赛集,不能外推为「解决了 ARC-AGI-3 全部」。第二,满分存在被 harness 过度拟合的风险:当评分只数环境动作、不数内部推理与只读检查时,一个把探索成本外包给工具的架构天然占优——这是基准设计层面的问题,也是多个满分系统共同的软肋。第三,监督者 agent 不是新概念,AVO 的增量在于把记忆与监督做成通用组件并跨域复用,而不是提出全新范式。第四,Nvidia 的叙事自带立场:它卖的是整套算力与开放工具链,「harness 才是主角」对它有利,读者应把这一层与实验事实分开看。