FoldNet++ 用 12 万条合成轨迹折 T 恤,90% 只在分布内真机上出现 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

FoldNet++ 用 12 万条合成轨迹折 T 恤,90% 只在分布内真机上出现

2026-09-11 / 共 3,372 字

FoldNet++ 论文作者 / arXiv

一件皱成一团的 T 恤摆在桌上,机器人要先找到没有压住另一层布料的抓点,把衣服抖开、转正、拖到双臂都够得着的位置,再连续完成三次折叠、一次翻面和最后的整理。任何一次抓空或拉偏,后面的动作起点都会随之改变。

北京大学与 Galbot 团队 9 月 11 日提交的 FoldNet++,试图把这整段流程变成可批量生成的训练数据。研究者在仿真中为六种机器人各生成 2 万条轨迹,总计 12 万条;用这些数据训练的策略,不经过真实数据微调,就在未见过的 T 恤和背景上完成真机测试。论文图表中,参与训练的 Galbot 在最强配置下成功率约为 93%,没有进入跨本体预训练的双臂 ARX-R5 约为 67%。

这项工作的增量不是“机器人已经会收拾衣柜”,而是把原本分开的展开与折叠接成一条长轨迹,并尝试让同一种末端动作表示跨越六种本体。它也同时暴露了这条路线的边界:90% 以上只出现在一台分布内真机上;数据只覆盖短袖 T 恤和一种折法;项目页上的代码与数据仍标注为 Coming Soon。

12 万条轨迹从皱褶初态开始,不再假设衣服已经摊平

FoldNet++ 包含 1000 件合成 T 恤、1000 组桌面材质与室内环境资产,以及 Galbot、AgileX、双臂 ARX-R5、UR5e、Franka 和 xArm 六种机器人。每条完整演示约有 300 个时间步,记录头部和左右腕部三路相机画面、机器人动作及当前子任务标签。

旧版 FoldNet 的 1.5 万条轨迹覆盖 T 恤、长裤、连衣裙和半身裙四类衣物,但折叠从已经摊平的状态开始。FoldNet++ 反过来收窄衣物类别,只处理短袖 T 恤,却把起点扩展到任意皱褶状态:机器人先通过甩动与抓放把衣服展开,再进入固定折叠流程。任务因此更长,也更容易让早期误差累积到后半段。

规模并非没有代价。论文称,六种本体各 2 万条轨迹的生成用了 96 张 NVIDIA RTX 4090,持续 7 天。按论文给出的每条约 300 步估算,这套数据对应约 3600 万个仿真时间步。它省掉的是逐条真人遥操作,而不是让机器人数据变得免费;成本被转移到了物理仿真、规则设计、渲染和算力上。

六种机器人共享末端动作,人的规则先替模型规划整条路线

跨本体并不是把六套关节角直接混在一起。研究者先在世界坐标系中对齐不同机器人的左右末端执行器,手工定义各机器人底座相对工作台的位置,再用逆运动学把统一的末端目标姿态转换成每台机器的关节动作。24 维动作还为没有腿部自由度的机器人补零,使训练接口保持一致。

真正产生示范的仍是一套人工规则。仿真器知道 T 恤的肩部、领口和下摆角点对应哪些网格顶点,也能判断一个抓点是否会同时带起原本相距很远的两层布料。系统据此选择适合甩动的点对,检查衣服是否已经摊平、方向是否偏离目标、中心是否落在工作区,再决定继续甩、抓放,还是进入折叠。

折叠阶段同样被预先拆成线性流程:折近侧、把衣服拖近、折远侧、拖回、横向折叠、翻面、移到一旁。轨迹通过直线插值或余弦曲线生成,而不是由策略自己发现折衣步骤。所谓 12 万条示范,因而是“规则在物理仿真中执行后的多样化记录”,不是 12 万种人类折衣方法。

这层强任务先验解释了数据为什么能高效,也解释了迁移边界。换一台机器人时,末端坐标和逆运动学还能复用;换成长袖、纽扣衬衫或另一种折法时,关键点、动作顺序和精细操作都要重新设计。论文附录称,团队一天内为短裤写出了新规则并生成仿真示范,但没有给出短裤的真机迁移结果。

Galbot 约 93%,ARX 约 67%:同一数据接口没有抹平硬件差异

论文把一次成功定义为:机器人在 1000 步限制内完成展开和折叠,衣服达到规定的整齐程度,机械臂随后收回。仿真用语义关键点到目标位置的距离判定;真机由专家按论文示例判断。测试中的背景和 T 恤都未在训练中出现,论文为真机结果绘制的是约 68% 置信区间,主要真机实验每个设置通常只有 15 次。

最强 Galbot 配置先用六种本体数据预训练,再用 2 万条 Galbot 合成轨迹微调,真机柱状图约为 93%。ARX 的跨本体预训练刻意排除 ARX,再用 5000 条 ARX 合成轨迹微调,结果约为 67%。不做目标本体微调时,ARX 的跨本体预训练结果更低,约为 17%。这证明统一接口能提供迁移起点,也说明具体机器的工作空间仍决定上限;作者把 ARX 的落差主要归因于它较小的可操作范围。

附录里的固定数据预算实验进一步拆开了“机器人种类更多”和“总数据更多”。预训练总量都锁定在 2 万条、随后再用 1000 条目标本体数据微调时,使用 1、3、5 种本体的仿真成功率分别为 59%、64% 和 65%。本体多样性确实带来增益,但只有 6 个百分点,远小于主实验中数据量随本体数一起增加时的提升。对使用者而言,这意味着跨本体数据值得加入,却不能替代目标硬件上的适配。

论文还做了一个对称检验:同样以五种本体、2 万条总预训练数据和 1000 条目标数据为条件,Galbot 作为分布外本体时仿真成功率为 87%,ARX 为 63%。即便训练协议相同,“没见过哪台机器人”也不是同等难度。跨本体成功率不能只用数据集规模解释。

旧版 75% 和新版 90% 测的不是同一道题

FoldNet 报告的 75% 真机成功率来自 1.5 万条合成轨迹和约 200 万对图像—动作数据,核心任务是从摊平状态完成闭环折叠。FoldNet++ 的主任务则从随机皱褶开始,先展开再折叠,而且只保留短袖 T 恤一种类别。一个覆盖衣物类别更广,另一个把单类衣物的操作链拉得更长。

作者在附录中明确写道,两者任务不同,直接比较成功率没有意义。新版柱状图中的虚线图例标为 π0 report,也不是旧 FoldNet 的 75%。把“75% 提升到 90%”写成同口径进步,会同时忽略起始状态、衣物类别、机器人、成功判定与试验次数的变化。

更可靠的相对结论来自 FoldNet++ 自己的消融。在同一仿真设置中,拿掉腕部相机会让成功率从 96% 降到 58%;固定 2 万条总数据时,增加本体种类带来 6 个百分点提升。这些比较没有跨过任务定义,因而比新旧论文的两个总成功率更能说明哪些设计真正起作用。

1000 条真实示范直接混入,效果反而从 9/10 降到 6/10

团队另外在 Galbot 上采集了 1000 条真人遥操作轨迹,专门观察真实数据能否修补合成数据的缺口。结果出现了一个反常识现象:只用合成数据的模型在 10 次试验中成功 9 次;把整段真实轨迹均匀采样后微调,下降到 6 次;只抽取抓取前的一小段真实动作,仍为 9 次,却把平均执行步数从 626 降到 458。

论文把差异归因于动作分布不一致。规则生成的仿真演示沿固定路线移动,真人遥操作在中间状态使用了不同习惯;少量真实数据若覆盖整条轨迹,会把两种行为混进同一个策略。抓取前数据更集中地修补了真机常见的重复抓取问题,又没有重写后续动作分布。

这组结果只有每种配置 10 次试验,训练步数和学习率也针对不同方案分别选择,不能据此断言真实数据普遍有害。它更像一个数据工程警告:合成数据能否和真实数据结合,不只取决于数量,还取决于两套示范在哪些状态相遇、动作习惯是否兼容,以及微调是否覆盖了真正的失败点。

数据集还不能下载,下一步应先让外部团队重建结果

截至论文目标日期,FoldNet++ 项目页的 Paper、Code 和 Dataset 三个入口都显示 Coming Soon;可读论文来自 arXiv,12 万条轨迹本身没有公开下载链接、许可证、文件清单或训练切分。外部团队因此还不能检查六种本体是否各有完整 2 万条有效轨迹,也不能重算不同子任务和失败阶段的分布。

论文自己的限制也很具体:数据只有短袖 T 恤和一种折法;长袖需要额外折袖动作,纽扣与拉链需要超出宏观折叠的精细操作;失败还包括机械臂自碰撞和超出 1000 步。独立的布料仿真基准研究此前也指出,动态操作中的仿真误差会随时间累积,域随机化可以缓解现实差距,却不保证把它消除。FoldNet++ 的 Style3D 仿真器没有完成可替代引擎的同任务消融,论文只说明 PyFlex 无法稳定生成这套更长流程。

因此,FoldNet++ 目前最可信的贡献,是证明人工规则、语义关键点、高保真仿真和统一末端动作可以共同生产一批跨机器人的长流程训练轨迹,并让一台分布内真机在小规模测试中越过 90%。决定它能否成为可复用数据基础设施的下一步,不是再报一个更大的轨迹数,而是公开数据、许可证、切分与训练代码,让外部团队在更多衣物、折法和硬件上复算这条合成到真机的链路。

来源

  • FoldNet++: a Large-Scale Synthetic Dataset for Robotic T-Shirt Folding and Unfolding · arXiv
  • FoldNet++ project page · 北京大学 EPIC Lab
  • FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis · arXiv
  • Benchmarking the Sim-to-Real Gap in Cloth Manipulation · arXiv

评论

登录后即可参与评论。

加载评论中…

相关文章

  • FolDeX 数据组织与 FoldChallenge 实机评测流程示意图

    机器人折衣不只需要成功示范:FolDeX 把失败恢复做成实机赛道

    2026-09-11

  • R2S-Eval流程图:从真实环境校准仿真、采集策略执行视频,再由视觉语言模型成对比较并用Bradley–Terry模型汇总排名

    用仿真视频给六种机器人策略排名,视觉模型与人工偏好一致率应为90.9%

    2026-09-03

  • DATAFARM 将任务与运动规划轨迹对齐到 VLA 预训练分布后用于微调的流程示意

    规划器明明会做任务,为什么教不会机器人模型

    2026-09-11

  • NIST装配任务板1,包含插销、齿轮、电气连接器和螺母等接触密集装配部件
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

一个拿过80.6%的机器人失败检测器,平衡样本复评只剩0.53

2026-09-03

  • AI4AI-Bench 十项任务的算法、起始模型与最终评估指标总览

    RSI 算法改进评测:AI 改写训练代码,超四成结果不如原始方案

    2026-09-08

  • TMax 在 Terminal-Bench 2.0 上的表现:TMax-9B 与 TMax-27B 在参数规模-性能帕累托前沿上显著领先同规模开源模型

    华盛顿大学与 Allen AI 开源 TMax 训练方案,9B 模型终端基准得分达 27.2%

    2026-06-25