让机器人从人类操作视频里学抓取，难点集中在接触物体的一刻：手指稍微收拢，画面变化可能很小，夹爪和五指手又没有相同的关节命令。
清华大学与上海启智研究团队 9 月 18 日发布 GALA 预印本，把手部三维几何变化加入视觉推断的“潜在动作”。统一末端运动表示把人手、灵巧手和两指夹爪的几何变化编码成共享训练信号，再由每台机器人自己的动作输出头生成控制指令。
在作者的同架构多本体实验中，这套统一表示把 24 项 RoboCasa 仿真任务的平均成功率从 58.6% 提到 68.3%；四项 XHand 真机任务共运行 200 次，平均成功率为 75.5%。当前证据范围集中在这组仿真配置和四项真机任务，复现论文数值所需检查点仍在私有模型仓库。
三维点云把细微手指动作从画面变化中分离出来
传统视觉潜在动作方法从起始和结束图像中压缩动作信息，不要求视频附带机器人控制指令。这使无动作标签的人类视频能够参与预训练，却容易把注意力放在物体和整只手的位移上，漏掉细微的手指屈伸。GALA 同时读取图像变化与手部点云：人手点云由视频中估计的手部网格采样，机器人手或夹爪点云则由结构模型和记录的关节状态生成。每只手采样 1024 个三维点，置于以手腕或末端根部为中心的局部坐标系。
点云为模型提供细粒度手部形变，同时带来尺寸、形状和坐标系差异。GALA 的统一末端运动表示（UEMR）让左右手共用一组离散动作编码，以各自起始几何和共享编码重建结束几何；训练时对起止点云施加一致的随机旋转、缩放和平移，并同时学习正向与反向变化。编码由此侧重“手做了什么”，静态手型则留给解码时的起始几何。
在后续视觉—语言—动作模型中，图像编码和几何编码共同监督共享主干。这里的“统一”发生在训练表示层：人手与机器人共享几何变化编码，各机器人继续使用自己的动作输出头和控制空间。
统一几何表示让多本体数据贡献更多训练收益
论文的同架构消融 给出两组可比数字。在只使用 GR-1 数据的 24 项 RoboCasa 仿真任务中，完整 GALA 平均成功率为 55.7%；去掉手部点云降至 50.9%，保留点云但去掉 UEMR 为 54.4%。点云提供了明显增量，统一表示在这一设置下再带来 1.3 个百分点。
加入人手、Fourier 手、XHand 和 Robotiq 夹爪数据共同训练后，完整方法在同一组 GR-1 任务上为 68.3%，去掉 UEMR 为 58.6%，差距扩大到 9.7 个百分点。这组消融把增益定位到统一表示：在作者配置中，跨手型共享几何变化比只加入点云更能利用额外数据。与只用 GR-1 数据的完整方法相比，多本体共训提高 12.6 个百分点；这个差值包含数据量与训练设置变化，UEMR 的独立贡献应以同设置消融的 9.7 个百分点计算。
这也解释了 GALA 与既有几何路线的区别。较早的 OPFA 论文 同样用点云处理不同末端执行器，主要从机器人关节状态构造可达手型，并学习映射回关节的共享潜在空间。GALA 针对的是起止状态之间的几何变化，让没有原生机器人动作标签的人手视频也成为潜在动作的来源。两项研究的任务和数据不同，适合比较机制，不适合按成功率排名。
四项真机任务录得 75.5% 平均成功率
作者在一只 12 自由度 XHand 上测试抓取放置、推箱、按按钮和翻杯，每项 50 次。GALA 分别成功 40、41、39、31 次，合计 151/200，即平均 75.5%；去掉 UEMR 后四项平均 68.5%。翻杯是完整方法中最低的一项，成功率为 62%，显示精细接触和姿态变化仍是这组任务中最难的部分。判断方法贡献应以同体系消融为准；跨模型结果因骨干不同只作背景。
9 月 18 日版本的仓库评测说明给出代码、环境和 24 项仿真任务的运行命令，完整评测配置使用八张 GPU、每卡三个进程。复现论文数值所需检查点仍在私有模型仓库，因此外部团队目前可以核对流程，不能独立核对 68.3% 或真机 75.5%。
GALA 给机器人数据工程提供了一个具体路径：先把不同手型的细小几何变化变成可共享的训练目标，再为每台机器人的控制空间保留动作接口。检查点与数据处理链路公开后，下一项关键测试是这套表示能否迁移到未参与训练的手型和更长任务。
