清华大学与 Simple AI 团队想解决一个现实成本：机器人示教昂贵，而普通人类视频没有可直接执行的动作标签。9 月 16 日提交的 UMI-Bridge 先用人类视频与手持 UMI 轨迹学习“画面变化对应什么末端动作”，再用这套表征约束 UMI 示范与机器人示教的联合后训练。
在擦拭污渍、折叠 T 恤和果蔬分拣三项真机任务中，UMI-Bridge 完成 55/60 次，平均成功率 91.7%；相同数据上的朴素混训为 44/60。在擦拭和分拣两项任务中，只用 25% 机器人示教的 UMI-Bridge 平均达到 77.5%，高于全量机器人示教基线的 62.5%。
这组增益来自一条明确的动作接口：训练固定加入 82.6 小时专用 UMI 数据，真机使用与采集端同设计的夹爪。实验结果支持动作锚定的人类视频补充同构平台上的机器人数据，也把下一步验证目标指向跨夹爪、跨本体和强接触任务。
少用 75% 机器人示教的前提是固定加入 82.6 小时 UMI 数据
UMI-Bridge 的迁移建立在 EgoDex 人类视频、带动作标签的 UMI 数据和机器人示教三层数据上，其中 UMI 数据承担中间动作接口。第一阶段使用 29,878 段、108.1 小时无动作标签的 EgoDex 视频，以及 28,085 段、135.1 小时带动作标签的 UMI 数据；第二阶段用于策略训练的 UMI 子集是五项任务各 4,000 段，共 20,000 段、82.6 小时，同时加入三项任务共 809 段、9.8 小时机器人示教。
25% 用量实验覆盖擦拭和分拣两项任务：UMI-Bridge 分别达到 65% 和 90%，全量（100%）机器人基线分别为 60% 和 65%，每种设置各测试 20 次。77.5% 与 62.5% 是两项任务的等权平均，且两种 UMI-Bridge 设置都固定使用 82.6 小时 UMI 数据。
三项主任务的 91.7% 来自擦拭 18/20、折叠 17/20、分拣 20/20。55/60 直接支持 UMI-Bridge 在这组三任务测试中优于 44/60 的朴素混训；单项每失败一次会改变 5 个百分点，因此部署失败率需要更多轮次、多随机种子和跨硬件重复试验。
UMI 把画面变化翻译成可解码的末端动作
UMI 不是只拍摄手部的相机。它把相机、夹爪开合和末端位姿采集放进一个手持装置，并用相对轨迹表示动作，使采集端与机器人端能够共享平移、旋转和夹爪开合的语义。此前 EgoMimic 已经证明，人类第一视角视频可以与机器人数据共同训练，但它仍要靠相近的双臂硬件、动作归一化、视觉遮罩和时间对齐缩小域差异；HiFi-UMI 则进一步把高保真手持数据直接用于策略后训练。
UMI-Bridge 的增量，是把 UMI 从一种示教来源变成“翻译层”。第一阶段训练一个双视角潜在动作模型：DINOv2 提取相邻画面的特征，逆动力学模块把变化压缩成潜在动作，前向动力学模块再用它预测下一时刻的特征。UMI 的末端位姿与夹爪标签要求潜在向量能够线性解码出真实动作；同步的头部与腕部画面约束同一动作跨视角保持一致。
无标签人类视频只参与画面动态学习。团队让同一名操作者在同一场景中先徒手、再持 UMI 完成相同任务，通过动态时间规整保留 2,027 对高置信片段、21,634 个训练样本；这些配对样本和 UMI 动作标签负责把“画面怎么变”映射成“执行器怎么动”。
第二阶段再把已经训练好的腕部潜在动作教师与动力学模型冻结，用它们约束基于 π0.5 的 VLA 后训练。这个辅助分支只在训练时存在，部署时被移除，机器人仍由原来的动作专家根据当前视觉、指令和本体状态生成动作。因此论文的收益不是增加推理时规划器，而是改变策略参数在训练时被什么信号塑造。
消融实验把视觉预测与控制能力分开
最能解释 91.7% 提升机制的是消融实验中的排序反转。只学习视觉动态的教师在特征预测指标上优于完整模型，得分 0.589 对 0.476；但它从腕部潜在向量解码动作的误差更高，带入真机后，三项任务平均成功率只有 53.3%，低于朴素混训的 73.3%。在折叠 T 恤上，三者分别是 20%、60% 和 85%。
这组消融说明，潜在动作模型会把移动背景、视角变化等可预测运动当成学习目标。UMI 迫使表示保留与末端位移、旋转和夹爪开合相关的信息，把视觉动态接到可执行动作上。对计划利用海量人类视频的机器人团队，数据量之外更该问的是：视频变化能否被接到可执行动作上，以及这条连接是否在目标硬件与接触条件下仍然成立。
同构夹爪缩短了从采集到执行的迁移距离
真机平台是 Tianji Marvin 半人形双臂机器人，两条手臂各有 7 个自由度，安装了与 UMI 采集时同设计的 3D 打印夹爪；观测同样来自一台头部相机和两台腕部相机，输入分辨率为 224×224。论文使用的 20 维双臂动作也与 UMI 共享相对末端表示。同构夹爪、相机布局和 20 维相对末端表示共同缩短了采集端到执行端的接口距离，是结果成立的关键实验条件。
两项迁移实验进一步测试了没有目标任务专属机器人示教的设置。杯子放杯垫和零食放托盘分别达到 85% 与 90%；策略继续使用同一 UMI 夹爪和相机接口，并从另外三项任务的机器人示教中学习机器人域。
接触密集任务还存在另一层风险。BRIDGE 的独立实验指出，手持装置记录的是实际发生的轨迹，机器人控制器需要的却是考虑刚度、跟踪误差和接触动力学后的期望动作；两者在自由空间可能一致，到了插入、受力或卡滞阶段就会分离。UMI-Bridge 的擦拭和折叠结果说明动作锚点在当前任务上有效，但还没有覆盖换夹爪、换本体、强接触装配或更复杂安全约束。
截至预印本首版，论文没有提供代码、模型权重、完整数据或可访问的项目仓库，也没有外部团队复现。这条路线的规模化取决于三项实验：跨夹爪与机器人本体复测收益，去掉专门配对的人类—UMI 片段后重测无标签视频增量，以及把 UMI 采集、配对和清洗时间纳入总成本。它们会决定节省机器人示教是否真正降低数据成本。
