GameLogicBench 把编码 Agent 的游戏逻辑验收从最终画面推进到每个模拟步。南京大学团队在 9 月 18 日发布的论文中设计了一项台阶任务：公开预览让角色从一个方向接近台阶；评分场景改从反方向接近，并在前方放置超过高度上限的墙。只针对预览编写的移动逻辑，可能会把墙也当成台阶；即使游戏继续运行，规则也已在途中被破坏。
研究者把这类问题做成 72 项 Godot 玩法逻辑实现任务。在作者测试的 20 种模型与运行框架组合中，最佳组合单次完成 38 项，即 52.78%。评测由此不再只问“程序能否启动”，而是检查同一行为契约能否贯穿不同场景和每个执行步骤。
52.78% 是这套题库、规则和运行条件下的整项完成率，适用范围止于这一评测设置。它最直接的工程含义是：编码 Agent 交出可运行程序之后，团队还需要覆盖执行过程、合法场景变化和评分器反例的测试体系。
每个模拟步都要通过规则检查
每项任务交给Agent一份行为要求和一个已有Godot项目。Agent可以运行公开预览、调试并修改指定文件；评分器随后在独立容器里，用未公开的场景和参数种子运行同一份提交。论文把一次游戏模拟更新称为一个tick。评分器在每个tick读取运行状态及事件记录，检查角色位置、动作顺序等行为是否持续符合要求，而非只查看结束画面或让另一个模型凭视频打分。
72项任务分为21项单机制任务、28项机制组合任务和23项真实项目改动任务。人工设计的403个场景经参数种子扩展为1451个测试例；每项任务覆盖2至12个场景、10至38个测试例。场景变化仍遵守事先告知Agent的规则，变化的是布局、输入顺序等执行条件。对开发者来说，这相当于把“功能在演示里看起来正常”换成“相同契约在多种合法运行路径上成立”。
终局检查放过了 64 份错误提交
研究团队在36项任务的审计子集上，拿同一批提交分别使用完整评测和两种删减版重新评分。保留所有场景、只检查终局状态时，488份原本未通过的提交中有64份转为通过；只保留公开预览场景、但仍逐帧检查时，则有418份转为通过。这两组消融结果衡量的是审计子集里的评测器漏判：检查时刻太少，会漏掉途中犯规；场景太少，会漏掉换一个方向或参数才出现的错误。现实项目的漏测率需要另行测量。
评分器本身也要接受测试。作者先让正确参考实现和等效替代实现通过，再用故意删去单项能力的“变异程序”检查评分器能否拒绝错误。在上述36项任务中，未做变异验证的原始标准放过了666个变异程序中的127个；修补后，有3份模型提交的任务结果从通过改为失败。一个能稳定复现的裁判仍可能稳定地判错，因而逐帧检查需要与评分标准的反例校验配合。
最佳组合完成 38 项任务
论文报告的最佳组合是Claude-Opus-5配Claude Code，单次运行在21项单机制任务上完成61.90%，在28项组合任务上完成53.57%，在23项真实项目任务上完成43.48%，合计38/72。作者将模型与运行框架视为一个比较单位：同一Qwen-3.8-Max在三种框架下的总体完成率从26.39%到44.44%不等。所有主表成绩均来自限制外网访问的求解环境，评分使用Godot 4.4和固定执行条件。
失败主要集中在行为约束：按作者对所有组合失败场景的分类，74.3% 的提交可运行、可评分，却违反行为约束；17.2% 没有可评分方案，8.5% 属于不可行计算。这里的分母是失败场景，不是72项任务，也不是全部提交。对采购或部署编码Agent的人，更有价值的问题因此是：它在目标工作流的哪些状态变化、重复调用和边界输入下会出错，以及本地测试能否暴露这些错误。
外网访问改变得分，完整任务工件未能重跑
论文还比较了真实项目任务的外网访问条件：五种组合中，四种检索到上游项目源码；人工检查发现被审阅轨迹中存在直接复用，这四种组合的真实项目得分也都高于封闭网络条件。公开源码为 Agent 提供了答案线索，这段得分上升同时混入了源码获取与直接复用的影响。封闭网络有助于控制这一变量，却也让实验条件有别于日常允许查文档和源码的开发工作。
与同日公开的GameASG-Bench相比，GameLogicBench要求Agent在既有Godot项目里实现指定机制；前者让Agent生成完整浏览器游戏，并用静态与浏览器运行检查评估交付物。两项研究都区分单项检查通过与整项任务完成。由于任务、评分和工具条件不同，52.78% 不构成与 GameASG-Bench 的直接排名。GameLogicBench也只覆盖可用确定性状态断言检查的玩法逻辑，不评价美术、内容深度或整体玩家体验。
公开的GameLogicBench主仓库提供评测框架和运行说明；说明要求另行取得包含任务、裁判和参考方案的任务库。撰稿时，该文档指向的任务库链接返回 404；本文据此只讨论论文与公开框架，不把结果写成独立复现。论文留下的可操作判断是：让Agent交出能启动的游戏只是第一道门槛；若要相信它实现了规则，测试必须覆盖执行过程、不同合法场景，并用明确的反例检验裁判本身。
