据 TechCrunch 报道，AI 模型评测平台 Arena（原 Chatbot Arena）在推出商业服务 8 个月后，年化收入达到 1 亿美元。这家从 UC Berkeley 学术项目孵化出的公司，2025 年 5 月以 6 亿美元估值完成 1 亿美元种子轮，2026 年 1 月再以 17 亿美元估值完成 1.5 亿美元 A 轮。目前累计融资 2.5 亿美元，投资人包括 a16z、Felicis、Kleiner Perkins 和 Lightspeed。
收入增长也让 Arena 面临更直接的独立性质疑。它从学术评测项目发展为商业公司，付费客户中包括被它评测的模型厂商。如何防止商业关系影响公开排名，是此前私有测试争议留下的问题。
学术项目拆分成立公司，估值升至 17 亿美元
Chatbot Arena 最初是一个学术开源项目。2023 年，UC Berkeley 博士生 Anastasios Angelopoulos 和 Wei-Lin Chiang 在 LMSYS 研究组织下做了一个简单工具：用户提交一个 prompt，两个匿名模型各给一个回答，用户选出更好的那个。数百万次投票被聚合成 Elo 排名。
持续引入用户问题，有助于减少静态 benchmark 被反复用于训练所造成的污染。MMLU、HumanEval 这类静态测试集可以被模型"背题"，但 Chatbot Arena 每天有约 75% 的 prompt 是全新的，投票者在不知道模型身份的情况下做出选择。截至 2025 年 9 月，平台已收集超过 350 万次投票，覆盖 400 多个模型，prompt 分布在 600 多个任务类型中，从 SQL 生成到旅行规划到法律推理，最大的单一类别仅占所有 prompt 的 1%。
2025 年 4 月，LMSYS 的研究者将 Chatbot Arena 从学术项目拆分为独立公司 Arena Intelligence Inc.。CEO Angelopoulos 是 UC Berkeley 博士后，专攻可信 AI 系统；CTO Chiang 研究分布式系统和深度学习框架；联合创始人兼顾问 Ion Stoica 是 Berkeley 教授、Databricks 联合创始人。一个月后种子轮 1 亿美元到账。四个月后首款商业产品 AI Evaluations 上线。再四个月年化收入 3000 万美元。又过了四个月——1 亿美元。
实验室与企业为定制评估付费
Arena 的商业模式是两层结构。底层是免费公开排行榜，任何人都能比较模型。上层是 AI Evaluations——为模型实验室和企业客户提供深度性能分析、私有排行榜、定制化评估和红队测试。
CEO Angelopoulos 对 TechCrunch 坦承："很多人甚至不知道我们的业务在赚钱；人们仍然把我们当成一个开源项目。"他还澄清收入实际是"消费型"（consumption-based）而非传统意义上的"经常性收入"，但客户复购率足够高。
Arena 将 Mercor、Surge 和 Scale AI 视为争取同一批客户预算的竞争对手，这些公司都在帮助模型厂商优化后训练。Arena 的业务由此从公布评测结果，延伸到帮助厂商改进模型。
这使平台与被评测厂商之间的利益关系更为复杂。
私有测试与模型采样引发不公平指控
2025 年 4 月 30 日，来自 Cohere、Stanford、MIT 和 Ai2 的研究者在 arXiv 上发表论文《The Leaderboard Illusion》，分析了 280 万次模型对战，指控平台给予少数大型 AI 公司不成比例的特权。
争议首先集中在私有测试。论文指称 Meta 在 Llama 4 发布前的三个月内私下测试了 27 个模型变体，Google 测试了 10 个。这些公司反复提交、择优发布、悄悄撤回低分模型。而小型公司和开源项目没有同样的特权。
论文还指出，不同厂商获得的对战数据并不均衡。OpenAI 的模型出现在约 20.4% 的对战中，Google 占 19.2%，而 83 个开源模型合计仅获得 29.7%。论文合著者、Cohere AI 研究 VP Sara Hooker 对 TechCrunch 直言："只有少数公司被告知私有测试可用，有些公司获得的私有测试量远超其他公司。这就是操纵。"
Llama 4 事件进一步扩大了争议。Meta 专门优化了一个"对话性"版本在 Chatbot Arena 中拿高分，但最终公开发布的却是另一个版本——排行榜上的表现远不如"特供版"。开发者 Simon Willison 写道："如果商业供应商可以提交几十个模型，然后精心挑选得分最高的那个公开发布，Arena 正在非常积极地鼓励模型厂商去操纵系统。"
Arena 拒绝了大部分指控。联合创始人 Stoica 称论文存在"不准确"和"有问题的分析"。Arena 表示预发布测试政策自 2024 年 3 月起已公开，要求公布未发布模型的分数"没有意义"。不过它承认将改进采样算法使对战出现频率更均衡。
商业客户与公开评测之间如何保持独立
Arena 需要同时处理两种关系：公开榜单的使用者期待独立评测，模型厂商则为定制服务付费。商业关系是否影响测试机会和数据分配，将直接影响榜单的可信度。
私有排行榜允许企业客户使用敏感数据在封闭环境中评估模型，具体测试过程通常不向社区公开。数据访问层面，Arena 承诺公开发布 20% 的偏好数据，但保留 80% 作为商业产品的战略资产——排他性分配本身就是定价权的一部分。
这一争议也涉及行业如何选择评测依据。静态学术 benchmark 面临训练污染后，Chatbot Arena 通过真实用户盲测和不断更新的问题，提供了另一类评测信号。它比静态 MMLU 分数更贴近用户的使用偏好，但偏好排名也有自身的局限。
如果厂商围绕榜单规则反复优化、选择性公布结果，分数就可能越来越难代表用户实际得到的模型。这与 Goodhart 定律所描述的风险相似：当指标成为优化目标时，它可能失去原有的衡量作用。
Andrej Karpathy 在争议爆发后提议关注 OpenRouter 的排名作为替代——后者基于真实 API 使用数据，反映的是开发者在成本与能力之间的实际选择。使用量也不是完整的质量评估，但可以与偏好投票交叉参照，减少对单一排名的依赖。
Arena 自身不开发模型，却会影响用户和厂商对模型能力的判断。市场扩大带来了商业机会，也提高了对其透明度的要求：哪些客户获得私有测试机会、对战如何采样、偏好数据如何分配，都需要能被外部理解和检验的规则。
