两个三棱柱在截图里几乎一样，一个却可能是合格工程文件，另一个只是“长得像”。前者保留正确尺寸、草图约束和建模历史，工程师可以继续修改；后者只要结构、几何或建模顺序有一项不符，就会在 CADWorld 的检查器里失败。
这套 FreeCAD Benchmark 在 9 月 21 日更新的论文 v2 中给出了一个低得醒目的结果：七个 Agent 在 200 项任务上，最好成绩为 17.5%，也就是 35 题通过。真正值得关注的不是又多了一个低分榜单，而是 CADWorld 把专业软件 Agent 的交付物从“屏幕上看起来完成”改成了“保存下来的工程状态仍然成立”。
25% 与 17.5% 来自两套题集，不能写成一次成绩变化
CADWorld 的首版论文留下了一个容易误读的版本断层。9 月 14 日提交的 v1 在摘要和主结果表中写的是全量 200 题、最佳 17.5%，但引言仍称七个 Agent 跑的是 60 题子集，最佳 25%。9 月 21 日的 v2 将引言改为 200 题、17.5%，与摘要、结果表和当前项目页统一。
这不是同一场考试里模型从 25% 跌到 17.5%。25% 对应 60 题切片，即 15 题通过；17.5% 对应 200 题全量，即 35 题通过。分母和任务组合都变了，两个比例只能分别引用。
公开仓库的历史进一步说明了切片差异。我们核对固定提交后发现，较早版本中实际可读的任务 JSON 恰好有 60 个，与 test_60.json 的 60 个 ID 完全一致；9 月 20 日的扩充提交把任务包补到 200 个，与 test_all.json 的 200 个 ID 也完全一致。60 题切片包含 21 个 Part、18 个 Sketch、6 个 Assembly，以及少量 CAM、FEM、TechDraw 等任务；全量集则有 77 个 Part、63 个 Sketch、25 个 Assembly 和 15 个 CAM。题型权重不同，分数自然不能直接比较。
这组仓库记录能验证“确实存在两套题集”，却不能独立复算 25% 或 17.5%。公开代码和数据集中没有七个 Agent 的逐题结果表、轨迹与最终文件，外部研究者若不重新调用相同模型、搭建同一虚拟机和运行配置，就无法从现有工件还原榜单数字。因此，本文把成绩明确写成作者报告，而不是独立复现实验。
Agent 只能看屏幕操作，判分时却要打开工程文件
CADWorld 的 200 题覆盖 11 类 FreeCAD 工作流：草图、零件、装配、CAM、FEM，以及测量、网格、点云和技术制图等。主实验给每题最多 100 个 GUI 步骤。Agent 接收任务说明、截图和有限的近期轨迹，再输出鼠标、键盘或等待、完成、失败等动作；运行期间不能直接调用 FreeCAD 脚本，也不能直接读写文件系统。
Agent 结束后，判分才转向它留下的 .FCStd 文件和辅助输出。每道题都有专用检查器，而且只有全部必需检查通过才算成功，不按外观相似度给部分分。
公开任务能看出这套门槛如何落到文件内部。一道草图题要求结果恰好包含 3 条线、7 段圆弧和 1 个圆，还要满足指定尺寸、端点和角度，并达到完全约束状态。一个 CAM 任务不仅要求生成刀路，还要保持给定毛坯和目标几何不变，再用几何布尔运算检查欠切与过切，两者都不得超过应去除材料体积的 5%。FEM 任务则检查材料、载荷、网格、求解器和结果对象是否存在，并把导出的数值与参考 CSV 比较。
这使 CADWorld 与只看最终截图、网格相似度或生成代码能否运行的评测不同。对于真实 CAD 工作，工程师接手的是带参数、约束、特征树和下游制造状态的项目，而不是一张渲染图。一个形状即使视觉正确，若草图仍欠约束、特征历史错误，或刀路没有保存在工程文件中，后续修改、制造和仿真都会中断。
Agent 越会操作界面，错误越往工程文件深处移动
论文 v2 的全量结果中，作者报告 GPT-5.4 computer-use 版本通过 17.5%，Claude Opus 4.8 为 16.0%，Kimi K2.6 为 7.5%；其余四个系统在 0% 到 1.5% 之间。这里的模型名、接口、适配器和运行预算共同定义了一次成绩，不能只拿模型品牌横向外推。
更有解释力的是失败位置。较弱系统平均消耗 85.4 到 100.7 个动作，却常常没有留下可读取的工程文件；较强系统更容易越过保存这一关，随后在文档结构、几何和建模过程上失败。也就是说，通用 GUI 定位能力提高后，新的瓶颈不是“会不会点按钮”，而是能否在几十步操作中持续维护工程语义。
不同工作流的结果也支持这一点。最好系统在 Part 和 Sketch 上分别达到 22.1% 和 12.7%，但七个 Agent 在 CAM、FEM 和 TechDraw 上全部为 0。这些任务的关键状态往往不直接呈现在最终轮廓里：CAM 要处理毛坯、刀路和材料去除，FEM 要保留边界条件、网格、求解器与结果对象，技术制图则依赖视图和标注结构。作者提出，公开教程和截图的训练暴露差异可能影响结果；由于模型训练语料不可见，这只能算解释之一，不能当作已证实原因。
87% 的专家参考分也不是“人类平均水平”。论文说明它来自单名专家的一次参考通过，用于提供操作效率锚点，而非多人、多次实验。专家没有拿到 100%，可能同时包含长流程中的人为失误和任务检查本身的难度；现有证据不足以把剩余 13% 全部归因给任何一方。
这套评测提高了交付标准，复现标准还要继续补齐
截至 v2，GitHub 与 Hugging Face 已能找到 200 个任务定义及对应的参考或前置工件，运行器、检查器和虚拟机入口也已公开。外部团队可以检查某道题究竟验证了什么，并在自己的 Agent 上重跑同一任务集。这比只公布一张排行榜更接近可审计评测。
目前仍有三条边界。第一，CADWorld 只覆盖 FreeCAD，不能直接代表 SolidWorks、CATIA、Fusion 或其他专业软件。第二，任务给出了明确目标和必要素材，没有覆盖真实工程中需求澄清、方案权衡与不完整资料检索。第三，项目页仍把混合式工具的提交规则标为待作者确认；而且没有发布主榜七个系统的逐题结果与最终工件，第三方尚不能对 17.5% 做逐题审计。
CADWorld 最重要的变化，是把“Agent 完成任务”的定义推到了可继续工作的工程文件上。以后判断专业软件 Agent，至少要同时报告固定任务清单、模型与适配器版本、可用工具、操作预算，以及逐题工件检查结果。下一步真正能提高这套榜单可信度的，不只是更高的百分比，而是把每一次通过和失败都连回可复查的文件、轨迹与诊断证据。
