6 月 30 日，新加坡 AI 创业公司 Analemma 在 arXiv 上投下了一枚重磅论文——不是 AI 写的论文，而是关于 AI 写论文的论文。这份题为《FARS: A Fully Automated Research System Deployed at Scale》的报告，首次为自动化科研系统提供了一场严格的大规模人类评审，结果远比此前 AI 评审给出的分数要冷酷。
在此之前，外界对 FARS 质量的主流认知来自斯坦福大学的 AI 评审系统 Agentic Reviewer，它给 100 篇 FARS 论文打出了平均 5.05 分——超过 ICLR 2026 人类投稿平均分（4.21），仅略低于录用线（5.39）。然而，当 88 名经过筛选的人类评审完成 282 次结构化评审后，这个数字被腰斩到了 3.17 分（满分 10 分），中位数仅为 2 分。仅有 17.7% 的评审给出了 6 分及以上（ICLR 录用门槛），且没有任何一篇论文获得 8 分或更高。
167 篇论文，67 个话题，零人工干预
FARS 是一个端到端多 Agent 系统，由四个专用 Agent 协作完成科研全流程：Ideation（构思）负责文献检索和假设生成，Planning（规划）将假设分解为结构化实验合约，Experiment（实验）在 160 块 NVIDIA GPU 集群上执行验证，Writing（写作）从实验证据中生成论文。
首次公开部署持续了 417 小时，消耗 216 亿 tokens，总成本约 18.6 万美元（含 GPU 和 API 费用），折合每篇论文约 1,120 美元。系统从 9 个种子研究方向出发，自主拓展到 67 个 AI/ML 子领域，共产出 166 篇完整论文——其中 94 篇属于自主探索的新兴方向，如 AI 安全与对齐（13 篇）、视觉语言模型（7 篇）、代码生成（6 篇）。
与此前所有自动化科研系统的关键区别在于，FARS 公开了完整的中间产物：假设文档、实验计划、代码、日志、结果数据以及论文草稿全部通过 GitLab 实时公开。这不是一个精选成功案例的橱窗，而是一个可审计的完整语料库——失败的、平庸的、负面的结果全部保留。
人类 vs AI 评审：一场惊人的分数分化
人类评审揭示的分数断层，暴露了一个比 FARS 本身更值得关注的问题。
斯坦福 Agentic Reviewer 使用的 ICLR 评审标准给出的平均分是 5.05；88 名人类评审（全部有同行评审经验，82% 评审过 20 篇以上论文）按照相同量表给出的平均分是 3.17。这个接近 2 分的差距意味着，当前 AI 评审系统在评估 AI 生成的研究时存在系统性乐观偏差。
在维度分析中，贡献度（Contribution）得分最低，均值仅 2.00（满分 4 分），且从未在任何评审中获得满分。论文呈现（Presentation）却相对不错，均值 2.46，48.9% 的评审给出了 3 分。贡献度与总分的 Pearson 相关系数高达 0.743，远超呈现（0.451）和严谨性（0.652），说明论文瓶颈不在「写得不够好」，而在「做的内容本身的科学价值不够」。
诚信审计同样反映出质量的梯度分布：16.7% 的评审报告了诚信问题（虚构引用、不可复现结果、虚假新颖性等），但在评分 ≥6 的论文中，这一比例骤降至 2.0%；在评分 0 的论文中则高达 43.5%。这意味着 FARS 存在一个清晰的质量断层——它确实能产出部分经得起推敲的工作，但低质量产出并非随机噪声，而是伴随可识别的诚信缺陷。
为什么是「AI-for-AI」这条路径
FARS 选择了 AI 研究作为自动化的第一个战场，这不是巧合。AI 研究的许多假设可以通过代码执行来验证，实验结果可以在标准基准上量化比较，领域内的论文、代码和数据大多公开可用。这种「可操作化」特征使 AI 成为自动化科研系统最自然的试验田。
但人类评审的结果也清楚划出了当前能力的边界。评审发现的三大系统性失败模式——实验范围过窄、方法论局限、诚信问题——恰恰指向了人类科学家做研究时最依赖的那些能力：判断什么实验才「够」、在方法论的灰色地带做出正确取舍、诚实地面对每一个数字的来源。
Analemma 团队在论文中坦率地承认了这些局限。他们的态度不是「AI 已经能替代人类科学家」，而是「让我们看看规模化 AI 科研的真实分布长什么样」。从这个意义上说，这份论文更大的贡献也许不是 FARS 系统本身，而是它为自动化科研建立了一套可复用的评估范式——完整公开的中间产物、结构化的诚信审计、人机评审的对照分析。
真正的问题
FARS 已经证明全自动科研产线在吞吐量上可行：每 2.5 小时一篇论文，每篇成本约 1,120 美元。但当人类专家坐下来逐篇审读时，发现大多数论文「值得评审但不值得发表」。这个结论比任何单一数字都更有信息量。
真正的问题不是 AI 能不能做科研，而是当 AI 以工业化速度产出「中档」研究时，学术出版系统如何应对？当一篇论文的产出成本降至 1,000 美元，而一次严格的同行评审的人力成本远高于此，审稿系统本身的设计是否需要重新考量？FARS 的公开实验已经让这些问题从理论推演变成了需要立即回答的现实。
