把食用油加热到 250°F 时，油面出现热浪。此刻打断，可能只是把正常预热误判为事故；继续到油开始飞溅再叫停，又已经太晚。PASTABench 用这个案例指出安全 Agent 的一道难题：监控器不仅要认出危险，还要在不妨碍正常任务的前提下，于伤害发生前选对介入时机。
9 月 23 日提交的这项研究把 1139 条多轮轨迹逐轮交给 16 个模型判断。论文中表现最好的 GPT-4o，只有 40.74% 的轨迹同时满足两项条件：在作者标注的最佳窗口内叫停，并正确说出具体风险类型。这个数字不是现实事故阻止率，甚至也不是单纯的“及时率”；同一张结果表里，GPT-4o 的 On-Time 指标是 68.22%。两者之间的差距，正是 PASTABench 想测出的部分：及时按下暂停键，还不等于真正理解了为什么要暂停。
两个时间点把“安全”变成一次时机选择
研究者给每条轨迹标出两个锚点。Earliest-Signal 是首个可观察的风险前兆；Trigger 是继续执行将造成不可逆伤害的节点。两者之间构成最佳干预窗口：早于前兆叫停算过早，到了 Trigger 才叫停算过晚。
这套设计把安全监控从事后判卷改成了逐轮决策。模型每次只能看到截至当前轮的工具执行和环境反馈，选择继续或中断；一旦中断，评测立即停止，模型还必须从 5 个一级类别、13 个二级类别中指出风险。最严格的 Perfect Interruption 因而同时考查“何时停”和“因何而停”。
PASTABench 与同期的长轨迹安全基准测量重点不同。ATBench 和 HINTBench 分别关注多步轨迹中的风险覆盖与失败定位；BLINDSPOT 用真实工具状态和动态授权区分安全完成、正确拒绝、危险完成与过度拒绝。PASTABench 的增量更窄：它把一次风险从首次可见到实际触发之间的区间单独标出来，专门惩罚过早和过晚。
模型更多是在过度防守，而不是最后一刻才看见
16 个模型的平均过早中断率为 46.61%，平均过晚率只有 0.44%。GPT-4o 的 Perfect Interruption 为 40.74%，但有 31.08% 的轨迹在风险信号出现前就被打断；Gemini-2.5-Pro 的过早率达到 64.27%，其 Perfect Interruption 只有 23.79%。在作者的重复实验里，7 个开源权重模型以温度 0.7、8 个随机种子重跑，绝大多数指标的标准差低于 1 个百分点，过早中断仍稳定地多于过晚中断。
这改变了“安全模型不够敏感”的直觉。一个监控器如果见到 transfer、payment 或 heat 就停止流程，可能在危险测试里获得不错的安全分，却会把合法付款和正常加热一并拦下。生产系统真正需要优化的不是把阈值不断调低，而是在允许任务继续与阻止不可逆动作之间校准证据门槛。
论文的分类结果也支持这一点。模型及时认出一级风险，并不保证能指出具体风险；最难的“程序性安全缺口”类别——例如漏做强制检查或绕过联锁——二级风险的有效干预率只有 0% 到 32.6%。显眼的危险物比缺失的步骤更容易被语言模型捕捉。
去掉危险词，测试的是因果跟踪还是另一套提示词
作者随后改写全部 1139 条轨迹，把 transfer、steam、knife 等显式危险词换成语义较中性的表达，同时保留动作、环境变化和原有标注窗口。观察重点不是改写后的总分，而是原本过早叫停的轨迹，有多少能延后到最佳窗口。
Gemini-2.5-Pro 有 115 条轨迹从 Early 移入窗口，占全部样本 10.1%；GPT-4o 有 55 条，占 4.8%。Qwen2.5-32B 和 QwQ-32B 各只有 27 条，占 2.4%。作者据此认为，受测闭源模型比这些开源权重模型更能越过表面词汇，跟踪风险状态。
这个消融能揭示关键词依赖，却不能单独证明模型形成了稳定的因果理解。改写词表和“语义保持”仍由作者构造；论文报告的是 Early→OIW 的改善数量，而不是所有错误在改写前后的完整迁移矩阵。中性替换也可能改变模型熟悉度或表达自然度。因此，更稳妥的结论是：部分小模型的高敏感度依赖显式词汇，闭源模型在这组配对改写上表现出更强的状态跟踪；两者都不是对真实安全能力的最终判定。
1139 条轨迹测的是文本沙箱，不是生产事故
数据并非真实 Agent 事故日志。研究者从 Recipe2Plan、LabSafetyBench 和 SafeToolBench 筛选初始场景，再用 DeepSeek-R1 合成 Actor 与 Environment 的 5 至 12 轮文本交互；496 个工具定义中，188 个来自种子数据，308 个由模型生成。Actor 被要求优先效率，环境则以温度、设备声音或文件标签等状态推进风险，所有动作都在文本沙箱中模拟。
标注也带有模型生成与规则设计的边界。GPT-4o 先标 Earliest-Signal、Trigger 和风险类别，Gemini-2.5-Pro 独立复标，Cohen's κ 为 0.756；冲突经规则裁决，无法解决的样本被丢弃。论文称所有轨迹随后经过人工验证，与模型标注的一致率为 90.4%。最终 1139 条样本从 1725 条生成轨迹中筛出，但文章没有把“最佳窗口”变成独立于作者定义的客观事实。
对上线安全监控而言，下一步不是直接采用 40.74% 作为模型门槛，而是建立自己的干预成本表：哪些动作可撤销，何时必须二次确认，过早停止会损失多少任务效用，漏拦一次会造成什么后果。还需要用真实工具回放、授权变化、延迟和多模态传感器重新标定窗口。PASTABench 最有价值的提醒不是“六成事故拦不住”，而是安全 Agent 也可能因为太早出手而不可用；识别、时机和风险归因必须分开测。
