给 AI 一家虚构的 SaaS 创业公司和 100 万美元起始现金，让它经营 500 个模拟日：自己定价、投放广告、管理研发、采购基础设施、谈判企业客户，并观察社交媒体反馈。它通过 Python 代码行动，从 19 张 SQL 数据表和模拟社交网络中了解经营情况。
这就是普林斯顿大学 Haozhe Chen、Karthik Narasimhan 和 Zhuang Liu 在 6 月 16 日发布的 CEO-Bench。它把多项经营决策放进同一个持续变化的模拟环境，观察 Agent 能否从反馈中调整策略，并管理长期后果。
10 个模型各跑三次，五个至少有一次完成经营周期
CEO-Bench 模拟了一家名为 NovaMind 的订阅制软件公司。Agent 从零客户、100 万美元现金起步，在 500 个模拟日内通过 34 个工具做出全部经营决策——涵盖定价、营销、研发、基础设施、客户支持、企业销售、市场调研和社交媒体八个维度。26 个客户群体各有隐藏的支付意愿和质量阈值，Agent 只能通过数据分析和间接信号来推断市场状态。
首版论文评估了 10 个模型，每个运行三次。下表统一采用这份论文的结果；项目网站会继续追加模型与实验。评测以期末现金计分，现金跌到零以下即判定破产并结束模拟。
| 模型 | 破产次数 | 最高最终现金 | 最高存活天数 |
|---|---|---|---|
| Claude Opus 4.8 | 0/3 | $27,776,973 | 500 |
| GPT-5.5 | 2/3 | $21,297,707 | 500 |
| Claude Opus 4.7 | 0/3 | $389,959 | 500 |
| Kimi K2.6 | 1/3 | $98,050 | 500 |
| Claude Sonnet 4.6 | 2/3 | $69,766 | 500 |
| GLM 5.1 | 3/3 | $0 | 324 |
| Claude Haiku 4.5 | 3/3 | $0 | 231 |
| Gemini 3 Flash | 3/3 | $0 | 226 |
| DeepSeek V4 Pro | 3/3 | $0 | 176 |
| Grok 4.20 | 3/3 | $0 | 37 |
这组实验中，Claude Opus 4.8 和 GPT-5.5 的最佳运行期末现金超过起始资金。Opus 4.7、Kimi K2.6 和 Sonnet 4.6 至少有一次完成 500 天，但期末现金低于 100 万美元；其余五个模型三次都破产。Grok 4.20 的平均存活时间约为 28 天。
作者还设置了规则基准：固定价格，集中投放少数客户群，并按利用率调整容量。这套经过参数搜索的策略取得约 1576 万美元期末现金，低于 Opus 4.8 与 GPT-5.5 的最佳成绩。论文另估算了约 22 亿美元的潜在期末现金，用于观察改进空间；它基于理想化的收入与成本假设，并非已运行成功的策略或经过数学证明的上限。
支出立即发生，收入与客户反馈却可能延后
CEO-Bench 希望把单次完成任务与长期协调多项决策区分开来。模拟环境主要从四个方面增加难度：
回报延迟且不确定。 成本即刻产生，但收入、客户留存、研发回报要等数周才显现。研发项目的完成时间和质量提升存在不确定性，模拟器也为客户增长、退订和竞争变化加入随机因素。Agent 需要在结果尚未完全显现时，决定下一步投入。
根据间接信息判断市场。 Agent 看不到客户的真实满意度、支付意愿或流失倾向。它只能通过订阅数据、客服工单、社交媒体帖子来推断——就像真实 CEO 看仪表盘和舆情报告。五个广告渠道对不同客户群的效果是隐藏的，Agent 需要通过分析获客数据来发现最优投放组合。
市场条件持续变化。 竞争对手会定期提高客户质量期望，且对 Agent 的研发投入做出适应性反应（论文用参数 u 控制竞争强度）。客户偏好随时间漂移，不同群体的价格敏感度和质量要求以不同速率变化。宏观经济周期影响企业客户的支付意愿和席位数量。Agent 必须不断搜集新信息并调整策略。
多目标协调。 单纯扩张客户群可能因基础设施不足导致服务宕机；过度削减成本会损害产品质量和口碑；不同研发投入也会影响竞争对手追赶的速度。声誉会在客户群之间传播——一个企业客户群的质量事故可能溢出到消费者市场。
高分运行中，Agent 会分析客户数据并预测现金
作者检查了所选运行中的行动轨迹，观察到几类与较好成绩相关的行为：
尝试和调整多种策略。 GPT-5.5 和 Claude Opus 4.8 在 500 天中频繁调整获客、研发、运营、产能和定价策略，工具使用分布均匀；Claude Opus 4.7 则倾向于保守的现金保存策略，反复削减开支。作者还统计了备忘录中「if」的出现频率，作为条件规划的一项观察指标，较强运行中的模型使用得更多。
相近结果也有不同经营路径。 尽管 Opus 4.8 和 GPT-5.5 最终现金余额相近，路径截然不同：Opus 4.8 在模拟中期客户数一度降至零，随后转向削减支出、保留现金的策略；GPT-5.5 全程维持稳定客户群。两者聚焦的客户群也完全不同。
编写分析代码。 较好的运行中，Agent 会利用代码检查数据与预测结果。Claude Opus 4.8 构建了基于客户群组的现金流模拟器，在不同情景下预测未来现金余额。GPT-5.5 挖掘谈判历史数据库，从噪声中推断企业客户的隐藏价格和质量偏好。
针对客户群做定向开发。 在论文分析的运行中，GPT-5.5 将 89% 的开发支出用于特定客户群，Opus 4.8 为 87%，Kimi K2.6 为 10%。定向开发的好处是竞争对手更难模仿——论文中这被建模为更慢的竞争追赶速度。
一个测试持续改代码，一个测试持续经营
CEO-Bench 发布的同一周，亚马逊科学团队也发布了 StaminaBench（arXiv:2606.19613），测试编码 Agent 在 100 轮连续变更请求中的耐力。两项评测关注不同的持续工作场景：
- StaminaBench：Agent 实现 REST API 后，继续处理 100 轮变更请求。论文评估了六套 Agent 运行框架与七个开放模型；在不提供测试反馈供修复的条件下，受测模型通常在 5–6 轮内出现失败。传回测试反馈并允许重试后，成功处理的轮数最多达到原来的 12 倍。
- CEO-Bench：Agent 协调 500 个模拟日内的经营决策，以期末现金衡量结果，同时记录破产与存活时间。某个时期有正现金流，并不保证最终成绩好。
两者都把评估从单次任务扩展到连续决策。StaminaBench 观察后续修改是否破坏已有行为，CEO-Bench 则观察决策在客户偏好变化、竞争和现金波动中如何累积。任务与指标不同，成绩不能直接比较，但都能帮助定位持续工作中的薄弱环节。
规则模拟便于复查，结果仍受场景设定影响
CEO-Bench 的大部分模拟结果由明确规则生成。例如，客户是否订阅取决于受微观经济学启发的价格与质量比较规则（Mussa–Rosen 模型）。作者希望减少语言模型充当裁判带来的不稳定，避免模拟供应商被不现实的口头承诺影响。规则和行动记录公开，也方便其他研究者检查结果。
首版结果显示，部分模型已经能写分析代码、预测现金并调整策略，也能在最佳运行中超过规则基准。不过，同一模型的不同运行表现有明显差异。期末现金较高、避免破产和持续盈利，是三个需要分别观察的结果；模拟中的成功也不能直接证明真实企业经营能力。
后续研究可以用这个环境比较训练方法、记忆管理和 Agent 运行框架，观察哪些改动能提高多次运行的稳定性。当前实验揭示了长期规划与反馈利用的困难，还不足以把原因直接归结为某一种训练目标。公开环境提供了进一步检验这些问题的条件。
