6 月 30 日，新加坡 AI 创业公司 Analemma 在 arXiv 发布《FARS: A Fully Automated Research System Deployed at Scale》，报告自动科研系统FARS的公开运行及人类评审结果。系统能连续产出论文，但专家评分显示，研究贡献、实验范围和诚信问题仍限制着质量。
早期报道曾引用斯坦福Agentic Reviewer对100篇FARS论文给出的平均5.05分，并与ICLR 2026投稿均分4.21，以及报道用作录用参考的5.39分作比较。这些数字的样本和含义不同，不能直接视为录用率。新报告中，88名入选评审者有55人提交了有效评审：140篇论文共获得282份评审，评分平均 3.17分（满分10分），中位数为2分。17.7%的评审给出6分，未出现8分或更高评分；6分是本次量表的接受档位，不代表论文已获会议录用。
166 篇论文覆盖 67 个话题，中间产物一并公开
FARS 是一个端到端多 Agent 系统，由四个专用 Agent 协作完成科研全流程：Ideation（构思）负责文献检索和假设生成，Planning（规划）将假设拆成明确的实验计划与验证要求，Experiment（实验）在 160 块 NVIDIA GPU 集群上执行验证，Writing（写作）从实验证据中生成论文。
首次公开部署持续了 417 小时，消耗 216 亿 tokens，总成本约 18.6 万美元（含 GPU 和 API 费用），折合每篇论文约 1,120 美元。系统从 9 个种子研究方向出发，自主拓展到 67 个 AI/ML 子领域，共产出 166 篇完整论文——其中 94 篇属于自主探索的新兴方向，如 AI 安全与对齐（13 篇）、视觉语言模型（7 篇）、代码生成（6 篇）。
FARS此次部署的特点是公开完整的中间产物：假设文档、实验计划、代码、日志、结果数据以及论文草稿全部通过 GitLab 实时公开。这些材料组成了可审计的语料库，成功案例之外，失败、较弱和负面的结果也得到保留。
人类评分偏低，主要问题集中在贡献与证据
人类评分也提醒人们，自动评审分数不能直接替代专家判断。
新报告另用斯坦福Agentic Reviewer评估了165篇FARS论文，论文均分为5.00；人类评审覆盖的140篇论文，按篇汇总均分为3.23，按全部评审计算则为3.17。两组采用相同数值量表，但覆盖范围并不完全一致，人类评审还包含针对短论文的要求和诚信审计。入选的88名评审者均有同行评审经验，约82%评审过20篇以上论文。这组结果说明该自动评审器的评分更宽松，尚不能推广为所有AI评审的统一偏差。
在维度分析中，贡献度（Contribution）得分最低，均值仅 2.00（满分 4 分），且从未在任何评审中获得满分。论文呈现（Presentation）却相对不错，均值 2.46，48.9% 的评审给出了 3 分。贡献度与总分的 Pearson 相关系数高达 0.743，远超呈现（0.451）和严谨性（0.652），提示研究贡献和支撑证据，比单纯润色更能解释本次评分差异。
诚信审计同样反映出质量的梯度分布：16.7% 的评审报告了诚信问题（虚构引用、不可复现结果、虚假新颖性等），在评分≥6的评审中，这一比例为2.0%；评分为0的评审中则为43.5%。这说明较低评分更常伴随可识别的诚信问题，而非仅仅呈现较差。
先在可通过代码检验的 AI 研究中部署
FARS首先选择AI研究作为部署领域，与任务能否通过计算检验有关。AI 研究的许多假设可以通过代码执行来验证，实验结果可以在标准基准上量化比较，领域内的论文、代码和数据大多公开可用。这些条件使AI研究适合用于测试自动科研系统。
但人类评审的结果也清楚划出了当前能力的边界。评审发现的三大系统性失败模式——实验范围过窄、方法论局限、诚信问题——恰恰指向了人类科学家做研究时最依赖的那些能力：判断什么实验才「够」、在方法论的灰色地带做出正确取舍、诚实地面对每一个数字的来源。
Analemma 团队在论文中坦率地承认了这些局限。报告重点呈现规模化运行后的产出分布，而未声称系统能够替代人类科学家。它也提供了一套可参考的评估方法——完整公开的中间产物、结构化的诚信审计、人机评审的对照分析。
论文生成提速后，评审能力如何跟上
FARS 已经证明全自动科研产线在吞吐量上可行：每 2.5 小时一篇论文，每篇成本约 1,120 美元。但在已接受人类评审的论文中，多数评分仍未达到本次量表的接受档位。生成速度与研究质量，需要分别衡量。
当自动系统能以这一速度产出论文，学术出版也需要考虑如何安排审查。论文生成成本约为千美元，并不包含外部专家核查方法、代码与实验记录的全部投入。FARS的公开实验提供了评估这种负担的材料，后续还需衡量每篇论文的复核时间，以及系统能否减少反复出现的证据和诚信缺陷。
