Google 论文助手为逾 4,700 篇投稿提供反馈,帮助作者查错补实验 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

Google 论文助手为逾 4,700 篇投稿提供反馈,帮助作者查错补实验

2026-06-28 / 共 3,193 字

Google Research

2020 年,ICLR、ICML、NeurIPS 三大 AI 顶会共收到 17,051 篇投稿。Google 团队估计,2026 年合计将达到约 73,883 篇,较六年前增长约 333%;其中 NeurIPS 数字仍是预测。论文还引用研究指出,早在 2024 年,至少 17.5% 的 arXiv 计算机科学摘要已有 AI 辅助生成的迹象,特定生物医学语料中的估计比例可达 40%。投稿增长使同行评审承受更大压力,但增长有多少来自 AI,尚难确定。

Google Research 正在尝试用 AI 辅助作者检查论文。其 Paper Assistant Tool(PAT)已在 STOC 2026 和 ICML 2026 的投稿阶段完成试点,累计为超过 4,700 篇稿件提供反馈。6 月底,研究团队在 arXiv 上发布了完整论文,公布了系统架构、基准测试结果、作者调查数据,以及一份关于 AI 在同行评审中可扮演的四种角色的分类法。

先分段审查,再核查和汇总问题

PAT 在单次模型调用之外增加了分段和协调机制。Google 团队指出,直接让模型审阅全文有两类局限:其一,模型的有效上下文窗口不足以对整个论文进行深层分析,尤其是需要大量「思考 token」的数学证明验证;其二,如果简单用 Pass@k 缩放(多次独立调用再合并),虽然召回率有所提升,但精度会急剧下降——论文用一个假设例子说明这种风险:多轮生成可能汇总出约 100 条「疑似问题」,其中只有 1 条涉及真正的关键错误,人类需要逐条筛查。

PAT 用三类代理缓解这些问题:

分段代理(Segmenter) 先将论文按逻辑主题拆解为若干片段——理论、方法、实验、结论等——片段之间可以重叠且不必连续,然后根据每个片段的信息密度和复杂度动态分配计算预算。证明密集的部分获得更多算力,叙述性段落则少占资源。

深度审查代理(Deep Review Agents) 随后对各片段进行独立验证,每个代理虽然聚焦特定片段,但可以访问全文作为上下文。这些代理由 Gemini Deep Think 的增强版或另一套专有推理扩展流程驱动,通过增加、协调推理过程进行更深入的检查。

合成代理(Synthesis Agent) 最后合并所有片段的审查报告,通过 Google 搜索核查引用(防止捏造不存在的论文或定理),去重后生成完整的审稿意见。

这套架构也接受了 SPOT 基准测试。该基准收集了真实论文中导致勘误或撤稿的错误,团队从中选出数学和计算机科学的「等式/证明」子集,共 26 篇论文、29 处错误。Gemini 3.1 Pro 单次零样本调用检出 55.2%,PAT 检出 89.7%,提高 34.5 个百分点。原始 SPOT 报告的最好成绩为 21.1%,但此次研究改变了自动评分方法,允许数学上等价的问题描述,并由作者人工复核评分,因此这个旧数字不能与新结果直接比较。

论文中提供了一个具体案例:在一篇关于对偶 Banach 空间的论文中,单次调用的模型接受了论文中一项错误断言:复最小算子空间之间的实线性映射满足完全收缩性(complete contractivity);PAT 则构造了一个反例,揭示出足以否定主定理的致命漏洞。

即便单次调用的基线,在这个子集里也检出了超过一半的已知错误。研究团队据此提出,可以探索在 arXiv 投稿时自动运行审查,为作者提供早期反馈。这个设想仍需在更广泛的论文和错误类型上检验;26 篇论文的测试不能代表所有投稿的查错能力。

作者反馈:修复理论漏洞,补做新实验

PAT 最初在 2025 年 11 月面向 STOC 2026 投稿作者开展试点,当时专门针对理论计算机科学的数学密集型论文进行了优化。2026 年 1 月,系统在 ICML 上进行了更大规模的部署,扩展至可评估实验框架、发现混淆因素、指出缺失的比较实验和实验设计缺陷。

两次试点遵循同一原则:PAT 仅为作者提供提交前的私密反馈,完全独立于正式同行评审流程,审稿人和领域主席无法查看这些反馈。在 ICML 试点中,反馈的平均周转时间仅约 30 分钟。

按 ICML 3 月 30 日发布的试点复盘,项目收到 869 份问卷回复,结果包括:

  • 92.1% 的受访作者表示愿意再次使用 PAT
  • 87.3% 认为 PAT 提升了论文的清晰度和可读性
  • 35.4% 的含理论内容论文受访作者报告 PAT 发现了需要超过一小时才能修复的重要理论漏洞
  • 31% 的含实验内容论文受访作者因 PAT 的反馈而补做了新实验

STOC 的受访作者也给出了类似反馈:97% 的作者愿意再次使用,85.1% 认为论文清晰度得到改善,11.6% 报告发现了重要理论错误。

具体案例有助于理解作者做了哪些修改。一位 STOC 作者写道:「它发现了我们应用一个工具时的关键 bug……一个尴尬到极点的简单错误,躲了我们好几个月。幸好我们在截止日期前修好了,可这意味着我们不得不重写七八页的技术内容。」另一位作者报告 PAT 指出了证明中的一个矛盾——「证明是无效的,我们在 AI 发现后修好了它」。

UC Irvine 杰出教授 Vijay Vazirani 的反馈更为直接:「这组评论简直令人震惊!它指出了我算法中一个微妙但致命的 bug,我及时修好了!」

即使在没有致命错误的论文中,作者也报告 PAT 发现了「数学上有意义的笔误」——缺失的绝对值符号、方向错误的不等式、同一符号承担过多含义、计数或索引差一的错误。检查这些细节需要时间,PAT 可以提供一轮辅助筛查。不过,试点中也出现了 PDF 解析失败、知识过时以及把正确证明误判为错误等问题,作者仍需核查反馈。

四种 AI 角色,分别由谁负责审查与决定录用

研究团队还为 AI 在同行评审中的作用提出了四种角色。它参照了无人驾驶的 SAE 分级和数学研究的自主性分级,试图为社区讨论提供一个结构化框架:

角色一:AI 作为作者工具。 PAT 在 STOC 和 ICML 中的使用方式——提交前私密反馈,作者全权决定是否采纳。试点表明,一些作者因此修改了论文,但最终稿件仍由作者负责。

角色二:AI 作为审稿人工具。 人类审稿人使用 AI 理解论文、发现潜在缺陷、生成审稿草稿,但最终审稿意见由人类全权负责。风险在于审稿人可能过度依赖 AI 的幻觉批评,或隐藏自己的 AI 使用,在作者答辩阶段为错误的 AI 观点辩护。

角色三:AI 作为辅助审稿人。 AI 像人类审稿人一样独立生成完整的技术审查报告(仅限客观评估,不含主观评分),人类领域主席综合所有 AI 和人类审稿意见做出录用决定。一个变体(角色 3.5)允许 AI 也给出主观评分和推荐。最激进的实现方式是所有审稿意见都由 AI 生成,人类仅扮演决定者角色。

角色四:AI 全自动化同行评审。 这一未来设想以 AI 评审达到更可靠的一致性和精度为前提。论文提出了一种可能形态——类似 arXiv 但只收录经过 AI 审查的论文的「AIrXiv」,支持多轮自动审查、交互式答辩和逐条问题解决,通过持续的多轮审查建立论文的置信度评级。

论文同时提出了一系列必须解决的问题:当 AI 审查出错时谁负责?作者如何质疑 AI 的幻觉批评?如何防止作者学会「讨好审查 AI」?如何确保计算资源的公平获取?自动化审查是否会导致观点同质化、压制智识辩论?

试点继续扩大,正式评审规则仍待明确

AI 已经被用于撰写审稿意见。论文引用 Pangram 的研究,估计 ICLR 2026 约 21% 的审稿意见完全由 AI 生成,尽管会议政策禁止这种做法。这是基于检测方法的估计。研究团队据此主张,会议应制定明确的使用政策和责任分工,使 AI 在允许的角色中参与评审。

NeurIPS 2026 也已宣布开展 PAT 试点,计划整合侧重文献引用和批判性分析的 ScholarPeer 系统。与此同时,AAAI-26 也已启动了自己的 AI 审稿试点,为每篇主赛道投稿生成一份清晰标注的 LLM 审稿意见。

从 STOC、ICML 到 NeurIPS,AI 论文助手正在进入更多投稿流程。超过 4,700 篇稿件的试点经验,以及特定错误子集上 89.7% 的检出率,为讨论提供了具体证据。下一步仍需检验误报率、作者核查成本,以及工具表现能否支持它承担更大的评审责任。

来源

  • Towards Automating Scientific Review with Google's Paper Assistant Tool · arXiv
  • Retrospective on PAT x ICML 2026 AI Paper Assistant Program · ICML Blog
  • ICML Experimental Program using Google's Paper Assistant Tool (PAT) · ICML Blog
  • NeurIPS Supports Authors with Google's Paper Assistant Tool (PAT) · NeurIPS Blog
  • Gemini-backed Paper Assistant Tool provides automated feedback for theoretical computer scientists at STOC 2026 · Google Research
  • Google AI Tool Finds Flaws in Scientific Papers Before Peer Review · The AI Insider

评论

登录后即可参与评论。

加载评论中…

相关文章

  • OpenAI GeneBench-Pro 官方页面中的任务流程图,展示计算生物学 Agent 基准如何围绕研究级任务组织。

    OpenAI 发布计算生物学基准 GeneBench-Pro,测试多步科研分析

    2026-06-30

  • StudentBench 论文展示的 AI 辅导界面,左侧为课程计划,右侧为学生与 AI tutor 的对话和练习题

    AI 辅导在一次 GRE 实验中追平真人,918 倍成本差只算推理费

    2026-09-23

  • 论文图 1:SWE-bench Verified 上各模型的解题率随时间上升,同时补丁臃肿比保持高位且与解题能力几乎不相关

    AI 代码通过测试后仍可能难审查,13 位研究者呼吁重视人机协作

    2026-08-17

  • 一条发绿光的链条,其中一环被突出显示,隐喻 LLM 安全链中的薄弱环节
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

伪造推理能骗过大模型,角色标签为何挡不住提示注入

2026-07-30

  • AI 部署中演示到生产的审核鸿沟概念图

    72 组金融 AI 工作流测试:演示过关后,仍有近半未通过生产门槛

    2026-08-03

  • Google I/O 2026 上展示的 AI 搜索界面,传统链接被 AI 生成答案取代

    Google 扩大 AI 搜索,出版商担忧流量流失与内容收益

    2026-07-12