一块方块正沿桌面向外滑。相机和安全模型已经看出它将要坠落，机械臂却来不及绕到方块前方。在 REVERSAL-BENCH 的 Franka 仿真压力测试中，当不可逆参数升至 0.8，危险检测的 AUROC 仍有 0.976；无论不加防护、使用学习到的安全层，还是直接使用作者定义的 oracle，方块最终落入不可恢复状态的比例都约为 95.4%。
这组结果把机器人连续学习里一个容易被算法成绩遮住的问题摆到了台面上：知道下一步危险，并不等于机器人拥有阻止危险的控制能力。苹果研究人员 Riyaaz Shaik 和 Chandru Venkataraman 9 月 15 日提交的 REVERSAL-BENCH，不是又一种承诺“机器人能自己收拾残局”的方法，而是一套专门测量它何时再也收不回手的仿真基准。
省掉人工重置，把“环境能复原”变成了隐含前提
强化学习通常把一次尝试结束后的环境恢复到初始状态。放到真实机器人上，这可能意味着工作人员把物体捡回桌面、重新摆正门把手，甚至用另一台机械臂完成复位。无重置强化学习希望减少这类介入，让机器人交替执行任务和复原动作，持续收集数据。
早期方法已经意识到风险。Leave No Trace 同时训练前向策略和后向复位策略，并在后向价值过低时提前中止；VaPRL 则让机器人从较容易返回的中间状态逐步扩展训练。但 VaPRL 的论文明确把讨论限制在可逆环境：物体若掉出机械臂工作空间，继续学习就可能卡死。后来的 MoReFree 用世界模型把探索引向与任务相关的区域，也主要解决“待在角落浪费训练时间”这类仍可逃脱的低效状态。
REVERSAL-BENCH 的增量，是不再把“可逆”当作有或没有的背景条件，而是把不可恢复程度单独拉成一根实验轴。它要回答的不是某种算法在一个固定环境里分数多高，而是同一条安全路径仍然存在时，错误越来越难挽回会怎样改变训练。
rho 改的是犯错后的退路，不是最优路径的难度
基准为每个任务设置参数 rho，取值从 0 到 1。数值越大，不可逆区域越严重或越宽：在点质量导航中，它扩大吸力超过执行器最大输出的“力陷阱”；在桌面操作中，它缩小目标与桌边的安全余量；在双臂交接中，它扩大两只机械臂都够不到的空隙；在其他任务里，它还对应电机疲劳阈值、颗粒黏聚性、材料塑性和动作顺序的不可撤销程度。
rho 不是跨任务可比较的统一危险分数。桌面任务的 0.5 与颗粒倾倒任务的 0.5 对应不同物理量。它只在单个任务内部控制“偏离安全轨迹后还能不能回来”，同时保持目标位置和最优无碰撞路径可达。
为区分“障碍更难”与“错误不可挽回”，作者还构造了几何相同的可逆对照。点质量任务保留同样大小的吸力区，只把向内作用力从超过执行器上限改为低于上限；桌面任务则在桌边下方增加机械臂够得到的承接托盘。论文图 2 中，三种无重置方法在 rho=0.6 时都达到 1.0 的吸收率，也就是评估轨迹全部停在不可恢复状态；几何相同但可逃脱的对照中，吸收率为 0。
这支持“不可逆性导致掉崖”的域内因果判断，但范围只到作者构造的仿真配对。降低吸力或增加托盘本身就在改变物理动力学，不能由此推导所有现实机器人都会在同一刻度上失败。
恢复 oracle 给状态贴标签，但它只存在于模拟器里
基准的第二个部件是恢复 oracle。它先保存包含位置、速度和接触缓存的完整模拟器状态，再从这一检查点运行针对任务设计的恢复搜索：导航任务尝试最大控制力下的逃逸轨迹，操作任务检查机械臂是否还能触及掉落物，形变任务测量材料是否留下永久应变；最后恢复检查点，让这次搜索不干扰原评估轨迹。
作者把多次系统搜索仍找不到返回初始分布路径的状态标为不可逆，并称这些标签是不可逆状态的保守下界。因此，这个 oracle 更准确的理解是“按基准规则生成的仿真真值”，不是对连续状态空间可达性的数学证明。真实机器人也无法把接触、磨损和材料形变精确回滚到同一检查点，部署时仍要依赖学习到的监测器或外部监督。
论文报告的离线数据集包含五种物理引擎、11 个任务域和 4490 万条状态转移，其中 28.3% 被 oracle 标记为不可逆。每条转移还带有最短恢复步数和是否越过物理逃逸边界的标签，操作任务另含同步 RGB 观察。这是状态转移规模，不是 4490 万个独立场景，也没有真机轨迹。
截至首版论文及其 TeX 源，作者虽然写明“发布”基准和数据，却没有给出代码仓库、数据下载地址或逐任务数据卡。外部研究者暂时无法核对 11 个任务域的完整工件、oracle 实现和 28.3% 标签比例，论文结果应视为作者报告，而不是已经完成独立复现的公共基准。
安全层能拦住可控风险，不能补回缺失的控制能力
作者还训练了一个“可逆性安全层”：它估计执行动作后返回初始分布的概率，低于阈值时便覆盖原动作，选择更容易恢复的方向。在点质量任务里，这一机制确实有用。rho=0.25 时，未防护策略的吸收率为 0.63，安全层把它降到 0；rho=0.50 时从 0.85 降到 0.21。
当陷阱扩大到 rho=0.75，学习到的安全层吸收率又升至 0.88。理想 oracle 在点质量任务里仍能找到不坠入陷阱的路线，却不能在 Franka 桌面任务里创造机械臂原本没有的触达范围：从 rho=0.3 开始，学习安全层与 oracle 的吸收率都快速上升，到 0.8 时与未防护策略同为 0.954。
这也是 REVERSAL-BENCH 最有现实价值的结论。机器人团队不能只把安全问题交给分类器，还要在系统设计阶段分清三类状态：能由策略自行恢复的偏差、只能在越界前阻止的危险，以及一旦发生就必须换物料、换工位或由人介入的不可逆失败。承接托盘、冗余执行器、可替换工件和明确的人工接管阈值，不是算法之外的杂务，而是连续训练系统的一部分。
下一步真正需要验证的，也不是再把仿真检测 AUROC 推高一点，而是把同一套刻度带到真机：控制传感延迟和机械磨损，记录每次人工复位的原因与成本，并检查视觉检测器能否跨物体、工位和故障类型迁移。只有这些数据出现，“无重置”才可能从减少实验室人力，走向可以核算风险的长期自主运行。
