一个 AI tutor 为一名学生完成课程规划、出练习题和一小时文字辅导，模型推理费平均为 0.067 美元；真人辅导按每小时 75 美元计算。折算成“每提高一个百分点要花多少钱”，两者相差 918 倍。
这组数字很容易被转述成“AI 教师已经取代真人”。StudentBench 真正推进的其实是另一件事：它不再只让专家判断模型的回答像不像好老师，而是让学生先考试、接受辅导，再在没有辅助的情况下完成另一套题。实验表明，合并后的 AI 组在这一次 GRE 前后测中与专家真人达到统计等效；它没有证明这种增益能保持几个月，也没有测学校课堂、未成年人或其他学科。
评测对象从模型回答，换成学生有没有学会
研究团队通过 Handshake 平台邀请学生参加付费研究。最终分析覆盖 2383 名成年人、2469 次 GRE 数学或语文学习会话，其中 2139 次使用 AI tutor、140 次使用真人 tutor、190 次进入无辅导对照组。83.3% 的参与者为 18 至 24 岁；真人 tutor 是前 ETS、Kaplan 员工或至少有五年 GRE 辅导经验的人。
每次会话先做 27 题前测，再进入一小时干预，最后做另一套 27 题后测。两套题覆盖相同概念，并在不同参与者之间交换前后顺序，以免题目难度差异被误算成学习增益。AI 和真人都能看到学生前测的错误，却看不到后测；对照组复习前测错题后，观看与 GRE 无关的教育视频。试题由曾参与 GRE 出题的人员重新编写，没有直接复用旧题，以降低训练数据污染的风险。
这个设计比“让大模型裁判给辅导回复打分”更接近学习结果。此前一项发表于 PLOS ONE、包含 274 名参与者的数学研究也发现，ChatGPT 生成的提示可以带来学习增益；同一研究同时报告，未经筛选的生成内容有 32% 未通过质量检查。两项结果放在一起说明，答案是否像样、学生是否学会和错误是否被及时拦截，是三件需要分别测量的事。
“统计等效”有明确范围，不等于分数完全相同
StudentBench 把学习增益定义为后测正确率减去前测正确率，并用起始分数、考试版本和科目调整组间差异。合并数学与语文后，AI 相对真人的调整后差值为 -0.58 个百分点，90% 置信区间为 -2.18 至 1.03。论文采用的等效边界是正负 0.25 个合并标准差，对应约正负 4.09 个百分点；整个置信区间落在边界内，因此通过双单侧等效检验，p=0.015。使用更严格的正负 0.20 个标准差，结论仍成立。论文未报告这项分析经过预注册。
这里的“等效”不是“没有显著差异”的另一种说法，而是研究者先规定可接受差距，再检验数据是否足以把差距限制在这一区间内。合并结论也不等于每个科目都成立：数学达到等效，语文没有达到。140 次真人会话又集中在少数 tutor 上，合并模型的有效自由度只有 1.59；论文用聚类稳健方法处理这种依赖，并在排除重复参与者、逐一移除真人 tutor 后保住结论，但作者仍把小样本近似列为不确定性。
论文所说“七个领域中五个由 AI 领先”也需要拆开看。它连接的是每个领域表现最好的 AI 平均值，领跑者可能来自不同模型，并不是同一个 tutor 在五个领域都超过真人。若比较合并 AI 组相对无辅导对照的增益，几何和阅读理解的 95% 置信区间仍跨过零。这个领域图适合寻找能力前沿，不能改写成一位稳定的“全科 AI 名师”。
918 倍可以复算，但分母只属于这次实验
单模型成本结论来自 Gemma 4 31B。它在 159 次会话中的平均学习增益为 12.742 个百分点，平均推理成本为 0.06671 美元；相除得到每个百分点 0.00524 美元。真人组平均增益为 15.608 个百分点，以每小时 75 美元作为参考价，得到每个百分点 4.80508 美元。两者之比为 917.78，四舍五入后就是 918 倍。
这项比较只覆盖记录或重建的模型 API 推理费，覆盖率为 97%，包括课程规划、练习题生成和互动辅导。它没有把产品开发、平台运行、内容与安全质检、客服、招募学生或失败会话计入 AI 成本；真人端也不是研究实际支付给每位 tutor 的完整成本，而是一项每小时 75 美元的市场参考价。因此，918 倍准确描述的是这组 GRE 会话的单位推理费差，不是学校采用 AI 的总拥有成本，更不是整个教育体系的成本差。
更需要谨慎的是单模型等效结论。研究将 12 个 AI tutor 分别与同一批 140 次真人会话比较，六个通过了等效检验，但没有对 12 次检验做多重比较校正。Gemma 4 31B 的调整后 AI—真人差值为 -1.09 个百分点，90% 置信区间为 -3.93 至 1.75，p=0.044，刚刚落在 0.05 阈值内。918 倍应被视为值得复验的单模型结果；证据更稳的是所有 AI tutor 合并后的等效结论。
下一步要测的是保持、刷题对照和独立复现
StudentBench 没有设置“学生自己做一小时 GRE 练习题”的对照组。无辅导组观看的是无关视频，因此实验能说明 AI 辅导优于这项对照，却不能分离对话式 AI 相比自行刷题多贡献了多少。研究只在干预后立即测量，也不知道几周或几个月后还剩多少；参与者是能使用 Handshake、会英语并愿意参加付费研究的成年人，不能直接代表学校课堂和更广泛学生群体。
数据和复现代码已公开，这让外部团队能够检查前后测、会话、练习、专家评价和成本记录。与此同时，研究由 Handshake AI 资助，平台和论文也由同一团队建设；在独立团队复跑结果之前，它仍是作者平台上的一次大规模实验，而不是跨机构共识。
StudentBench 最值得保留的判断不是“AI 已经是老师”，而是评测 AI tutor 时，应把学生离开工具后能否独立答题放在中心。对学校和教育产品团队，下一轮真正决定价值的证据会是：加入自行刷题对照后，AI 还多带来多少增益；延迟测验还能保留多少；把质检、运营和人工升级路径计入后，每个百分点的完整成本是多少。
