把 Ghidra、GDB、angr 等专业工具都交给 Agent，它仍可能不知道眼前的二进制程序究竟在做什么。Vals AI 在 9 月 16 日更新的 SRE Bench 中，把 19 个从零编写、没有公开源码的程序编译成 262 个实例，要求 Agent 在看不到源码的情况下完成逆向任务。首批结果里，排名第一的模型完整解出 56.87% 的实例：工具已经摆在桌上，真正拉开差距的是能否从反编译结果、运行痕迹和不完整线索中恢复程序语义。
这套设计击中了安全 Agent 评测的一个老问题。Cybench 等公开基准让研究者能下载代码、任务与运行记录，方便复现，却也意味着 40 道 CTF 题及其材料可能进入模型训练数据。SRE Bench 选择了另一端：用洁净室开发降低记忆答案的可能，同时接受外部研究者难以独立核验的代价。
19 个程序经过不同编译与保护，变成 262 个实例
Vals 称，团队投入超过 5000 个安全专家小时，从零编写了 19 个程序，平均每个程序超过 16915.8 行代码，覆盖网络协议、固件、游戏、文件格式恢复和恶意软件五类场景。它们再与一套 2.7 万行的反分析组件组合；这套组件包含十多种保护，其中超过一半没有公开实现。
这些程序不是简单重复编译。每个实例都记录语言、优化开关、是否保留符号、静态或动态链接，以及是否加入反分析保护。保护会在不改变程序行为的前提下，让控制流难以反编译、让字符串或代码只在运行时出现，或干扰调试器与跟踪器。这样一来，同一个基础程序可以在不同构建条件下测试：模型是在理解程序，还是只擅长读取清晰的符号和反编译输出。
数量链可以直接复核：262 个实例各有 6 项可确定验证的任务，共计 1572 项。页面没有公开六类任务的完整题面，但评分器会分别检查每个子任务是否完成，而不是依靠人工给一段自然语言答案打分。它因此能区分“已经恢复部分功能”与“整个实例都逆向完成”。
完整解题率和能力分不能混为一个榜单数字
SRE Bench 同时报告两种指标。Fully Solved 只有在一个实例的 6 项任务全部完成时才记为成功；Capability Score 则按 1572 项任务中完成了多少项计算。没有完整跑完的实例不会从分母中消失。
以当时榜首模型 GPT-6 Astra 为例，页面记录的完整解题率为 56.87%，能力分为 63.868%。换算成原始数量，分别是完整解出 262 个实例中的 149 个，以及完成 1572 项任务中的 1004 项。这 7 个百分点不是小数误差，而是 110 项已经完成、却分布在未能六项全过的实例中的局部进展。若只看完整解题率，会把这些进展全部压成零；若只看能力分，又会掩盖 Agent 能否把一项逆向工作真正收尾。
所有模型运行在同一个纯命令行循环中，并拿到相同的 Ghidra、radare2、GDB、angr、binutils、动态跟踪器和领域工具。Vals 对轨迹的统计显示，反汇编和反编译几乎出现在所有运行中。因此，“有没有调用工具”解释不了成绩差异，更有价值的问题是 Agent 如何根据一次工具输出决定下一步，以及能否把静态分析、动态调试和符号执行得到的碎片拼成一致结论。
反分析保护把结果压低，证据仍来自平台内部
Vals 报告称，自研反分析保护使成功率大致减半；消融结果还显示，保留符号信息会明显提高成绩，C 程序最容易，Rust 最难。页面说明，保护效果只与同一个“优化、去符号、静态链接”的基础构建比较，语言和编译选项则只在未保护实例中比较。这比把所有样本混在一起求平均更能隔离变量。
这些结果支持一个有限而重要的判断：当可读符号、熟悉代码和稳定调试路径被拿走后，现有 Agent 的逆向能力会明显下降。它不等于 Agent 已能或不能处理真实恶意软件，也不能证明基准“绝对无污染”。私有程序确实降低了源码和题解直接出现在训练集里的风险，但模型仍可能学过同类协议、编译器模式或保护技术。
更关键的是，SRE Bench 在页面上标为 Proprietary。截至 9 月 18 日的版本，页面称论文预印本仍待发布，也没有提供二进制样本、评分器或完整轨迹的公开下载入口。“洁净室”“超过 5000 小时”和“保护使成功率减半”等核心结论因此主要依赖 Vals 的披露，外部研究者无法用同一批工件复跑。
降低训练污染，与开放复核形成了直接交换
Cybench 代表另一种取舍：它从四场 CTF 赛事收集 40 道专业题，公开代码、数据和运行记录，还把完整解题与子任务进展分开。公开让不同团队能检查评分、替换 Agent 脚手架，也让题目更容易被模型训练过程接触。SRE Bench 没有消除这组矛盾，而是把优先级从“人人复跑”移到“尽量让模型第一次见到目标程序”。
对安全 Agent 采购方和研究者而言，这意味着榜单只能回答一个更窄的问题：在 Vals 固定的工具、预算、提示和私有样本上，哪些模型更能恢复未知二进制的语义。它还不能单独回答模型在组织内部软件、真实恶意样本或不同工具配置下是否可靠。
下一项真正决定 SRE Bench 价值的，不是再增加一个更高分模型，而是平台能否在不泄露测试集的前提下开放足够的审计材料：固定版本说明、任务分布、评分器设计、去标识轨迹，或由独立实验室受控复跑。洁净室目标让记忆答案更难；只有复核机制跟上，榜单才会从一个专有测量服务变成可积累的能力证据。
