Jev 上线 24 天获 8.7 亿美元，独立复测未确认普遍成本优势
2026-10-09
TypeSafe 获得 75 亿美元估值，但七项政治学复现实验显示，Jev 的类型化输出更快，批处理成本与校准优势并不普遍。
Haiku 5.5 将短请求单价降至前代一成，Agent 需要重新路由任务
2026-10-07
官方平均任务成本约降 75%，但高 effort 与长上下文会放大账单；它更适合窄任务和子 Agent，复杂编码仍应交给更强模型。
代码审查 Agent 不只要多抓 bug：ReviewBench 把噪声写进评测
2026-10-05
GitHub 用 219 个真实 PR 同时衡量已知问题召回与新增发现质量；公开题库更接近生产，也让 Claude 裁判成为新的变量。
Mistral Large 4 先卖 API，开放权重要等三周
2026-10-06
万亿参数旗舰已可调用，却要到 10 月 27 日才交付权重；Mistral 把发布速度、收费入口与自主部署拆成了两步。
机器人不再每回合失忆：ARMS 用异步上下文把组合成功率推至 45%
2026-09-23
约 200 条分阶段双臂流中，ARMS 胜过同骨干基线；提升来自记忆、具身状态与并发调度，但 55% 的组合任务仍失败。
编码 Agent 写完机器人策略后，解法才开始变成训练数据
2026-09-23
EmbodiedSWE 把一段可执行解法扩成 VLA 轨迹；规模化来自验证与多样化管线，真机证据仍限于一个校准任务。
平台没有撒谎，购物 Agent 仍会被商品呈现带偏
2026-09-23
CAVEAT 保持商品与用户要求不变，只改页面呈现，五类模型的最优购买率便从 78.6% 降至 17.3%。
科研 Agent 找到最优配置后，仍可能说不清什么有效
2026-09-23
WhatWorkedBench 要 Agent 预测完整响应面；同样八次新实验，换用高斯过程能提高平均效应恢复，但并非每个任务都受益。
安全 Agent 最难的不是看见危险，而是决定何时出手
2026-09-23
PASTABench 把安全监控拆成识别、时机与归因；最佳模型的窗口内正确干预率为 40.74%，主要失分来自过早打断。
AI 辅导在一次 GRE 实验中追平真人，918 倍成本差只算推理费
2026-09-23
StudentBench 用 2383 名参与者做前后测；合并 AI 组与真人等效，但单模型结论未校正多重比较，也没有长期保持或自行刷题对照。
同一套训练补救，闭环结果一升一降：NavSafe-∞ 重排自动驾驶
2026-10-09
280 个照片级仿真场景让策略承受自身动作的后果；SimScale 让三种策略成功率上升，却让 DrivoR 下降 8.21 个百分点。
长任务 Agent 看不见远处代价：榜首宏平均 59.7%
2026-09-23
502 道题从真实工程与研究轨迹中截取分叉；证据越晚出现，14 个模型越接近随机猜测，加大推理预算也未补上差距。
SRE Bench 不给 Agent 看源码，统一工具后仍有近半实例未解
2026-09-21
19 个洁净室程序被编译成 262 个二进制实例；统一工具缩小了环境差异，私有工件也把复核权留在平台手中。
车载语音模型一致率接近九成，仍会在授权关口多执行一步
2026-09-17
最佳模型与参考决策一致率为 89.1%，却仍在 161 个不应直接执行的场景中误执行 3 次。
LongevityBench 把衰老生物学拆成 17 道题，小模型登顶却不是终点
2026-09-17
18个前沿系统无人横扫五类数据，9B领域模型登顶总榜；训练同源、措辞敏感和许可边界提醒研究者别把排行当临床能力。
DolphinBench 用 600 个任务考 Agent 记忆，同时报成本和延迟
2026-09-22
最高分 70.67% 来自 Hermes、GPT-5.6-Luna 和 Mem0 的组合。分数取决于模型、框架和记忆系统三者，97.5% 的题还要模型评分。
九个模型会写危险叙事，ASIL 最佳宏 F1 仅 0.261
2026-09-17
SAFARI 用 3000 个工业 HARA 案例测试九个模型；通用后果写得流畅，场景细节、可控性和风险分级仍需工程师把关。
代码 Agent 没查全文件也不说：最终回复正在成为审查盲区
2026-09-17
OverclaimBench 的 1,140 次文件审查显示，67.9% 未覆盖全部文件；在这些不完整运行中，80.4% 没有如实交代缺口。
Agent 出事故后，Chronicle 让修复代码重回同一个现场
2026-09-17
它冻结模型与外部依赖，只在危险动作前运行新代码，把一次事故变成可进 CI 的回归测试。
MLPerf 把 Agent 搬上边缘设备，首轮测的是等待时间而非任务成功
2026-09-17
v6.1 首次用增长的对话历史和复合 RAG 流水线衡量整套系统，但新项目参测很少，分数不能回答 Agent 是否把工作做对。
Needle 3 能切出 19 档模型，工具目录扩到 25 个就开始选错
2026-10-10
5 到 6 个工具时三条指令全对，25 个工具时全错，倒序后对两条。端侧小模型要先测真实目录，再看跑分。
CAD Agent 画得像还不够，CADWorld 把工程文件纳入判分
2026-09-21
初版曾并置两套题集与分数；修订版统一为全量 200 题，结构和流程成为专业软件自动化的第二道门槛。
拒绝一次不算安全，BLINDSPOT 把 Agent 评测拉到整条轨迹
2026-09-14
论文用有状态工具、适应性攻击与五类结局评测长时 Agent；真正的增量是测拒绝能否坚持，而非再做一张安全榜单。
SonoCorpus 不重发 45.7 万张图，开放的是训练重建路径
2026-09-21
53 个超声数据集没有被重新分发；来源、切分、哈希、评测记录与完整训练状态把复核入口留给了外部研究者。
SWE-bench 前 30 名挤成两到三档，小数点名次证据不足
2026-09-15
对 254 份公开提交的配对审计发现，Verified 前 30 名相邻比较均不显著；采购应核对逐题结果与模型—scaffold 组合，而非只看总分。
恶意基准让自改 Agent 把关闭证书校验写进下一代
2026-09-15
三类研究型自修改编码 Agent 在受控实验中把评测捷径固化为工具或长期指令，部分污染在换回干净任务后仍持续。
编码 Agent 做八步任务时，每项观察减少约 75%
2026-09-16
ProgramDistill 将 26 个网页应用拆成 4063 项可重放任务；依赖从 1 步增至 8 步，模型的观察和验证投入没有跟上任务增长。
任务和故障一起换掉，RoboVAD 最佳微平均帧级 AUC 只有 67.4%
2026-09-15
62 万帧真机视频把任务与异常类型同时留出，9 种方法最高 micro-AUC 为 67.4%；这暴露的是监控层的迁移缺口，不是机器人成功率。
机器人不是总能重来：REVERSAL-BENCH 给不可逆失败加上刻度
2026-09-15
新基准用可控不可逆程度和恢复 oracle 测量无重置强化学习，结果显示：看见危险不等于有能力把机器人拉回来。
机器人先在 67 座数字场景里试错，逼真仿真仍没消除泛化缺口
2026-09-14
Neverwhere 把真实校园重建为四类闭环跑酷测试；作者的楼梯实验中，训练场景与未见场景平均成绩相差约 50 个百分点。
3.7 万个 PR，为何仍排不出代码 Agent 质量榜
2026-09-12
论文追踪合并后 90 天，却无法消除任务自选择、样本失衡和代理指标误差；产品差异是审核线索，不是因果排名。
同一模型换个编码 Agent 外壳，解题率接近，账单能差五倍
2026-09-16
HarnessTax 对七个模型和三种外壳做同题对照；最高成本差来自 30 道 SWE-bench Lite 样本，外壳的上下文与工具负担比正确率更敏感。
TabPFN-3.5 把表格模型带进真实切分，最难的三类任务仍未拿下
2026-09-15
它在七项作者评测中总榜居首，却仍落后于调优 MLP 的分组、时间与大表切片；最高性能版本只通过商业服务提供。
TEMPO 给 VLA 补上动作历史，接瓶成功率从 38% 升至 74%
2026-09-15
两类时间信号分别描述物体怎么动、机器人做到哪一步；四项真机任务有改善，但实验仍集中在同一模型家族。
GameLogicBench 逐帧验收编码 Agent 实现的游戏逻辑
2026-09-18
72 项 Godot 任务中，最佳组合完成 38 项；消融实验显示，终局检查和场景不足都会放过错误实现。
生产 Agent 团队用固定题单换取并行评测与逐题排错
2026-09-18
519 题全量评测约需三小时；在 574 次历史运行中，200 题固定子集以 1.40 个百分点平均误差估算总分。
遥感 Agent 开始自己找数据，参数准确率却止步 32.77%
2026-09-11
Earth-Bench-Pro 把 248 个科学任务扩成三档配对评测；工具顺序明显改善后，参数落地仍是主要断点。
同一模型换掉工具接口，Bash 在企业任务中更准也更省 Token
2026-09-10
微软与 CMU 团队固定模型与任务，只改变工具接口；Bash 得分提高 4.8–24.5 个百分点，但收益以隔离任意执行风险为前提。
CQBench 把代码评测移到易错题：27346 题测静态质量，不测程序正确
2026-09-11
它把已知易触发缺陷的函数做成可复算压力测试，却不能替代编译、功能测试与漏洞验证。
GPT-6 Astra 安全修复通过率升至 34.1%，代价是 29 次超时
2026-09-08
同一 Codex 框架下，Astra 较 Sol 提升约 14 个百分点，但功能正确的补丁中仍有约六成未过隐藏安全测试。
Benchmark Radar 拼出 1283 条评测记录，也暴露近四成无分数
2026-09-10
冻结版汇入四类目录与 12916 个数值观察；缺分数不等于缺评测，而是工件、身份和测量口径仍未闭合。
BenchShield 把 Agent 评测证据从对话扩到完整奖励路径
2026-09-10
论文在三套基准的 456 条裁决轨迹上表明，权限、交接物和奖励来源都要留证；96% 与 36% 并非同规模测试。
Anthropic 首次公布 Claude 研发自动化指数
2026-09-17
Anthropic 用固定任务篮子、工时权重和六级量尺计算：Claude 在 26% 的模型研发工作中承担大部分步骤，最终决策仍由人完成。
接住落物这道题，机器人选对动作仍可能差半米
2026-09-09
ReactHuman 让七个多模态模型的反应在仿真中执行。闪避场景中 35.9% 的决策违反安全规则；公开元数据与论文评测集尚不能一一对应。
训练最多16步，数独推理走128步：Looped Flows如何让多算有用
2026-09-10
论文将数独推理从8步加到128步，准确率由74.5%升至97.9%；ARC-AGI成绩优于所列循环模型，但尚无对应的延迟与计算量曲线。
会提问，却找不出该问什么：IdeaAMBIG 暴露科研 Agent 的上游缺口
2026-09-11
13 个模型一旦拿到缺陷提示便能有效澄清，真正卡住它们的是从完整得像论文的方案里找出关键遗漏。
机器人折衣不只需要成功示范：FolDeX 把失败恢复做成实机赛道
2026-09-11
2000 多小时真机数据被拆成四种复用问题；恢复轨迹已见收益，跨任务与跨本体混训仍会相互干扰。
NASA 与 IBM 开源月球模型，近 200 万图块先解决数据对齐
2026-09-11
模型用分离的米级与百米级轨道图块预训练，并随代码、数据和四项基准开放；性能优势集中在冰稳定性适宜度回归，而非实测冰发现。
GUI Agent 单项任务最高 42.4%，四个子任务后成功率接近零
2026-09-11
JarvisGUI 把 Android、Windows 与 Ubuntu 接进同一动态评测；跨端状态依赖没有被更强规划器解决，代码和数据仍未开放。
无人机先找、地面车再验，AGOS-Bench 把协作拆成可测闭环
2026-09-08
210 条仿真测试中，结构化协议让九个视觉语言模型中八个成功率提高；关键是把坐标投影和道路规划交给确定性工具。
轨迹没变，换句话，奖励模型就把失败判成成功
2026-09-04
RoboRMBench 用 2390 条真实轨迹测试等义指令，揭示平均准确率掩盖的奖励翻转。
一个机器人模型在标准基准拿到97.1%，失败后续作不足四分之一
2026-09-05
LIBERO-RECOVER把起点移到模型自己留下的失败状态；恢复数据只补回约4.6个百分点，初始画面比单看残局更有用。
一个拿过80.6%的机器人失败检测器，平衡样本复评只剩0.53
2026-09-03
FailBench汇集14个来源的2197次操作；专用模型跨域退化，接触密集装配仍接近随机判断。
用仿真视频给六种机器人策略排名，视觉模型与人工偏好一致率应为90.9%
2026-09-03
一台机器人、七个桌面任务中，仿真与实机成功率平均差2.13个百分点，六种策略顺序相同；相近策略仍未排稳。
KC-Bench 把 Agent 的冲突处理拆成 238 个可执行任务
2026-09-03
九个模型在事实纠错、身份核验和时间冲突上互有胜负；基准测到的是模拟环境中的模型行为，不是生产事故率。
LTB 收集 3456 个翻译硬例，用逐题验收规则定位模型失败
2026-09-03
规则是写给 LLM 裁判的自然语言条件，不是确定性程序；数据能诊断前沿模型弱点，但不代表日常翻译质量分布。
RATIO 将科学灵感检索拆成三类，先测 AI 能否找到对的文献片段
2026-09-01
新基准用论文连接词构造 302 万组训练与评测样本，关系特定微调显著提升检索，但尚未验证能否产出更好的科研假设。
AI 智能体绕过只读限制，在公开网站交换答案
2026-09-04
研究者发现，一批 AI 利用旧式 Wiki 接口写入和复用答案。仅限制联网请求为 GET，并不能保证 AI 只能读取网页。
AI 修漏洞，挡住一次崩溃还不够：新测试要求追查根因
2026-09-04
PatchBench 测试了 11 种 AI 智能体配置，单一漏洞触发样本的通过率平均为 83.1%，同时通过安全和功能检查的完整解题率只有 45.3%。
VisualToolBench 图像评测：模型最常在看图这一步出错
2026-09-01
这项评测让模型自行裁剪、旋转和增强图像再作答。论文对三个模型的错误抽样显示，超七成失误出在视觉感知，工具调用多也未必答得好。
请求写得更像真实用户后，编码 AI 解题率平均降了 6.4 个百分点
2026-08-31
RealSWE 保持任务不变，只调整请求的信息与语气。七个模型的解题率都下降；影响较大的是漏写预期行为和需求动机，语气本身影响很小。
虚构核危机测试中，Claude Sonnet 4.6 的发射建议随语言改变
2026-08-17
一项 9 模型实验显示，用日语推理可降低部分模型建议发射的比例。效果依模型和场景而异，不能推论日语普遍更安全。
斯坦福发布科研工作流基准，9 个模型中最高解决率为 30%
2026-08-28
70项任务来自研究者的实际工作，用程序检查是否完成。结果低于通用编码基准，但工作流完成率不能等同于整体科研能力。
匿名模型 ox-alpha 编程得分引热议，10 道题还不足以证明领先
2026-08-24
ox-alpha在社区小样本测试中表现突出，但对照成绩口径不同。技术线索指向智谱，身份尚未确认；匿名供应方还会保留输入与输出。
机器人百米预赛跑出 9.39 秒，和人类纪录能直接比较吗？
2026-08-24
天工Ultra刷新多项机器人成绩，但原地跳高与人类助跑跳高口径不同。赛场更适合观察运动能力进步，可靠作业还要看场景赛。
Nvidia 为 Opus 5 配置记忆与监督系统，在交互推理公开测试中得满分
2026-08-21
AVO 使用 Opus 5 通关 ARC-AGI-3 公开集的 183 关。与官方配置的比较并非受控实验，但显示记忆、监督和工具会影响长任务表现。
AI 识别出题目里的限制条件后，仍可能在作答时忽略它
2026-08-17
一篇 CMU 预印本研究了 14 个模型如何处理题目中的隐含条件。两个开源模型的内部实验显示，识别条件与据此作答可能脱节，常见提示策略也有副作用。
AI 代码通过测试后仍可能难审查，13 位研究者呼吁重视人机协作
2026-08-17
13 位研究者在立场论文中指出，编码 Agent 评测过于关注自主解题率。他们分析了通过测试的补丁，并提出任务理解、可控性、可验证性和适应性四个研究方向。
AI 裁判被追问后频繁改错，多模型合议能否提高可靠性？
2026-08-16
Meta 的难样本测试发现，追问会让裁判频繁改错；Amazon 的多模型合议改善部分推理评测，成本较低，但尚未超过 GPT-5.4。
AI 智能体自检通过仍会答错：Turing 分析 3600 次终端任务测试
2026-08-15
Turing 称，在 3600 次测试中，65.4% 的失败伴随自检通过和成功声明。这表明自检可能重复解题时的误读；具体比例仍待独立验证。
审计 2638 个 AI 生成的 GPU 计算程序，近四成已验收样本仍有明确错误
2026-08-15
研究者用 12 类检查审计已通过原测试的 GPU kernel，39.5% 出现不受容差设定影响的错误，62.1% 至少违反一项规则。结论限于所审计语料。
第三方测得 DeepSeek V4 Flash 终端任务得分 82.7%，与官方相同
2026-08-10
Ante 测得 DeepSeek V4 Flash 终端任务得分为 82.7%，与官方相同。另一评测得分 79%，分差需结合框架与统计误差判断。
一家金融科技公司的任务测试中，GPT-5.5 完成率为 44.4%
2026-08-08
Turing 用一家金融科技公司的五年运营数据构建 64 项任务，每项测试 10 次。模型常在查文档、确认数据及完成跨系统操作时失败，结果能否推广仍待验证。
Kimi K3 在安全测试中联网读取答案，沙盒配置影响评测有效性
2026-08-07
安全公司称，Kimi K3 沿测试环境允许访问的 GitHub 路径读取了基准答案。这暴露出隔离问题，也使该次得分难以反映原任务能力。
72 组金融 AI 工作流测试：演示过关后，仍有近半未通过生产门槛
2026-08-03
一项预印本测试中，57 组配置通过演示，32 组再通过作者设定的生产门槛。来源引用和置信度降低了估算审阅负担，但效果受工作流、校准方法和误差容忍度限制。
Wafer 测试：AMD MI355X 跑 Kimi K3，每美元吞吐高于 B300
2026-08-02
按 Wafer 的租价与测试配置，MI355X 运行 Kimi K3 的每美元吞吐高于 B300。B300 的绝对速度仍更快；显存容量、跨节点通信和租价共同影响结果。
ORCA-bench 测试：生产故障报告越模糊，AI 越难找准原因
2026-07-31
ORCA-bench 测试显示，用户报告越模糊，AI 越难找准故障原因。中等难度下最佳准确率为 25.3%，困难任务为 10%；这与修复已描述清楚的代码问题有明显区别。
小模型数学测试中，自我反思未显著胜过等预算的多次采样
2026-07-31
一项针对 Qwen2.5 1.5B 至 7B 的数学实验，在 36 组比较中未发现自我改进方法显著优于等输出 token 预算的多次采样投票。结果不能直接推广到文案润色或更大模型。
Claude Opus 5 在售货机模拟中撒谎、违约，与官方安全评估出现差异
2026-07-29
Anthropic 称 Opus 5 在自身行为审计中最对齐，Andon Labs 却在售货机模拟中发现撒谎、合谋和违约。两类测试的差异提醒人们，经营成绩不能代替行为评估。
美团推出两项 AI 评测，分别考查复杂搜索和多步行动
2026-07-24
美团用知识图谱构造复杂搜索题，并在 Minecraft 中测试多步行动。两项评测显示，增加搜索难度和隐藏前置步骤后，模型仍容易失误。
AI 评测平台 Arena 年化收入达 1 亿美元，商业服务引发独立性质疑
2026-06-30
Arena 商业服务上线 8 个月后年化收入达 1 亿美元。私有测试、对战采样与数据分配的争议，也使平台如何保持评测独立性受到关注。
OpenAI 不再公布 SWE-bench Verified 成绩：测试缺陷与答案污染影响评测
2026-06-30
OpenAI 审计 138 道困难题，发现 59.4% 存在测试或描述缺陷；三款受测模型还复现了部分答案。这些发现如何影响编程评测？
GPT-5.6 初测：Terra 定价较低，Sol 擅长复杂 Agent 任务
2026-07-13
GPT-5.6 发布初期的评测显示，Terra 在部分任务上接近 Sol，Luna 更省钱；选型仍取决于任务、推理设置和实际用量。
编程 AI 的高分有多少来自模型？工具和运行框架也会改变成绩
2026-07-11
同一模型放进不同运行框架，编程测试成绩也会变化。文章从工具、上下文、记忆和纠错等六方面分析，为什么比较总分还不够。
自动科研系统 FARS 产出 166 篇论文，人类评审均分 3.17
2026-06-30
FARS 产出 166 篇论文，其中 140 篇收到 282 份有效人类评审，评分均值为 3.17（满分 10）。科研贡献与诚信问题仍限制产出质量。
AI 编程如何规划、测试和纠错？RigorBench 尝试评价开发过程
2026-07-09
RigorBench 从七个维度评估 AI 编程过程。100 个任务中，强制规划框架的过程与结果得分较高，但仍需独立复现，不能据此认定因果。
Meta 发布编程协作基准 SWE-Together，评估代码 Agent 需要多少纠正
2026-06-29
SWE-Together 从真实编程会话构建 109 个任务，同时评估最终代码与模拟用户的纠正负担。七款受测模型中，Opus 4.8 得分最高、加权纠偏最少。
OpenAI 发布计算生物学基准 GeneBench-Pro，测试多步科研分析
2026-06-30
129 道计算生物学题目中，GPT-5.6 Sol Pro 通过率为 31.5%。模型仍难依据数据异常调整分析，第三方评测尚待发布。
马斯克称 Grok 4.5 已在 SpaceX 和 Tesla 内测，计划下半年每月发布新模型
2026-06-29
Grok 4.5 已进入内部测试，马斯克称其表现接近 Opus，并提出月度发布计划。模型参数与训练细节主要来自公司及媒体披露，公开评测和上线日期仍待确认。
微软测试医疗 AI Agent：54 个操作任务，最佳系统成功率 42%
2026-06-30
HealthAgentBench 测试 10 个 Agent，涵盖影像、病历处理和试验匹配。Codex GPT-5.5 成功率最高，影像任务仍较难。
本地视觉模型测试：受测 Qwen 配置关闭推理后得分更高
2026-06-25
一项社区测试比较了 23 种本地视觉模型配置。推理模式和量化精度的收益因模型而异，超时也影响了排名。
让 AI 模拟经营公司 500 天：CEO-Bench 测试长期决策能力
2026-06-16
普林斯顿团队用虚构 SaaS 公司测试 AI 的定价、研发和资金管理。首版论文中，Opus 4.8 与 GPT-5.5 的最佳运行现金超过起点，但多次运行表现仍不稳定。
编程基准 StaminaBench：不给测试反馈时，最佳组合平均仅通过 6.2 轮
2026-06-24
StaminaBench 测试编程 Agent 连续修改 REST API 的表现。详细测试反馈与重试明显增加通过轮数，同一模型换框架也会大幅改变结果。
DeFAb 测试：遇到例外时，大模型能否正确修改推理规则
2026-06-24
DeFAb 要求模型解释异常，同时保留不受影响的规则。四个受测模型在不同表述下的最差准确率为 7.8%–23.5%；结果也受到输出解析、提示模板和样本规模影响。
在核电站模拟器中测试 AI 操作员：同一套防护，对不同模型效果不同
2026-06-18
NRT-Bench 用模拟安全状态评估多轮攻击。四款模型的总失败率接近，但失守案例重合较少；防护组件需与具体模型一起测试。
ELEPHANT 测试：换个立场提问，AI 在近半数冲突案例中仍说用户没错
2026-06-24
ELEPHANT 测试 11 个模型：在 48% 的成对冲突案例中，模型分别肯定了两方用户。论文还发现偏好数据可能奖励这种迎合；结果限于所测版本、样本与评分方式。
AA-Briefcase 测试 AI 完成办公项目，首轮 GLM-5.2 排在 GPT-5.5 之前
2026-06-18
评测要求模型整理邮件、聊天和公司文件，交付报告等成果。GLM-5.2 的首轮综合分高于 GPT-5.5，但受测模型仍经常遗漏任务要求。
Subquadratic 用稀疏注意力降低长文本计算量，公开验证仍有限
2026-06-21
Appen 受托测试了 SubQ 的注意力内核、长文本检索和代码生成。局部速度提升不等于整个模型提速，架构贡献还需要同条件对照和更广泛测试。