Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations | AGIDaily
AGI Daily
资讯日报词条论文人物新创
返回论文列表
多指灵巧操作很难从零用模型无关强化学习做起来作者先搭了四类仿真任务,再用 24 自由度 ADROIT 手去学纯强化学习也能过,但要辛苦塑形奖励,样本又贵,动作还不自然DAPG 用行为克隆初始化,再用带权演示项去修策略梯度有了演示,训练能缩到几个机器人小时,动作也更稳、更像人这是仿真里的一步,还没有在真机上跑通
返回论文列表
目录

Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations

收录于 RSS 2018 会议论文被引 1,543 次
打开论文来源

Aravind Rajeswaran、Vikash Kumar、Abhishek Gupta、Giulia Vezzani、John Schulman、Emanuel Todorov 与 Sergey Levine 提出演示增强策略梯度(Demo Augmented Policy Gradient,DAPG),在仿真里训练 24 自由度的多指灵巧手。论文作为 RSS 2018 会议论文 发表,收入 Robotics: Science and Systems XIV,DOI 为 10.15607/rss.2018.xiv.049。官方主页写明会议在匹兹堡卡内基梅隆大学旁的 Carnegie Music Hall 举行,主会是 2018 年 6 月 26 日至 28 日,工作坊是 6 月 29 日至 30 日。发表日取主会首日 2018-06-26,不用 6 月 25 日的开幕招待,也不用 arXiv 挂出日 2017-09-28。本轮未从官方节目单核到该篇的 Spotlight、Poster 或 Best Paper,只按会议论文著录。对照以已下载的 9 页官方 RSS PDF 为准,不以可能更长或含会后修订的 arXiv:1709.10087 替代。本轮重查 OpenAlex,会议版记录为 W2757631751,venue 写的是 Robotics: Science and Systems,发表日为 2018-06-26;截至 2026-11-21 引用约为 1543。这不是 OpenAI 后来在 IJRR 发表的 Learning dexterous in-hand manipulation,作者名单和任务设定都不同。

多指灵巧操作很难从零用模型无关强化学习做起来

多指手能做手内操作、复杂抓取和用工具,但也带来高维观测与动作、接触不连续,以及非抓取阶段的欠驱动。以往多靠基于模型的轨迹优化,对动力学和状态估计要求很高,接触丰富时在真机上很难满足。模型无关强化学习不必先写动力学,可当时已有结果多停在两三个手指或整臂,维度远低于拟人五指手。当时常用的 OpenAI Gym 一类基准,也有研究指出不少任务用简单线性策略就能过,不足以代表真实灵巧操作。

作者先搭了四类仿真任务,再用 24 自由度 ADROIT 手去学

任务包括:把蓝球搬到随机目标;手掌固定、把笔转到目标朝向;拉开门闩并推开门;抓起锤子把钉子打进木板。门闩有干摩擦和把门压住的偏置力矩,钉子能吸收最多 15 牛的力,位置都会随机化。观测给关节角、物体和目标的位姿,动作是期望关节位置,并用判定器衡量是否成功。手的模型是 24 自由度的 ADROIT:食指、中指、无名指各 4 个自由度,小指和拇指各 5 个,腕部 2 个,用位置控制,在 MuJoCo 里仿真。演示来自改进的 MuJoCo HAPTIX 系统:CyberGlove III 记手指,HTC Vive 追踪器跟手掌,头显做立体显示,在虚拟现实里采集。四个任务各收集 25 条成功演示,并在执行器上加少量均匀噪声,减轻分布漂移。手内转笔这一项因为虚拟现实里没有触觉,演示改由在塑形奖励上充分训练的计算专家提供。

纯强化学习也能过,但要辛苦塑形奖励,样本又贵,动作还不自然

作者先比较自然策略梯度(Natural Policy Gradient,NPG)和深度确定性策略梯度(DDPG)。只用任务完成与否的稀疏奖励时,除手内转笔外,随机探索几乎碰不到成功,学不会。加上仔细写好的塑形奖励后,NPG 能达到较高成功率,DDPG 在他们的调参下仍学不会。作者认为,DDPG 对超参数和随机种子敏感,很难扩到这种高维任务。即便 NPG 过了关,得到的策略也常出现古怪的手指姿态和握锤方式,换物体质量和尺寸就容易失效;搬球一类任务从零学到 90% 成功率,大约要相当于 98 个机器人小时的样本,不适合直接在真机上练。

DAPG 用行为克隆初始化,再用带权演示项去修策略梯度

DAPG 有两步。先做行为克隆,用演示里的状态-动作对做极大似然,给策略一个不至于乱探索的初值;作者也写明,克隆出来的策略本身通常并不能把任务做成功,因为一离开关过的状态就会漂。再在 NPG 的更新里加一项演示梯度:对当前策略采样用优势函数加权,对演示用启发式权重 w(s,a)=λ0λ1kmax⁡Aπw(s,a)=\lambda_0\lambda_1^k\max A^\piw(s,a)=λ0​λ1k​maxAπ,其中 λ0=0.1\lambda_0=0.1λ0​=0.1、λ1=0.95\lambda_1=0.95λ1​=0.95,kkk 是迭代次数。权重随训练衰减,免得后期还把梯度绑在演示上。这一项用在与 NPG 相同的协变更新里。对比方法是把演示写入回放池的 DDPGfD。这一节评估只用稀疏的完成奖励。

有了演示,训练能缩到几个机器人小时,动作也更稳、更像人

在四个任务上,DAPG 都明显快于 DDPGfD,往往在后者还没起来时就已经学会。对照表格里,DAPG 达到 90% 成功率大约只要 30 到 55 次迭代,折合 3.33 到 6.1 个机器人小时;用塑形奖励从零练的 NPG 则要 16.2 到 98 小时,搬球大约慢了近 30 倍。换物体质量和尺寸做测试时,DAPG 策略的成功区域更宽;若在一组质量和尺寸不同的环境上一起训练,从零练的塑形奖励强化学习学不会,DAPG 还能学会,而且更稳。配套视频里,这些策略的动作也更接近人的用法。作者认为,人在演示里已经带上了很难写成奖励公式的稳健策略。

这是仿真里的一步,还没有在真机上跑通

全部实验都在仿真中完成。作者写明,能否在真机上成功仍有待验证,但按任务难度和样本效率,他们认为这为在实物上学习复杂灵巧操作迈出了一步。后续想法包括在真机上训练、用基于新奇性的探索继续降样本,以及只用原始视觉和触觉来学。代码、模型和视频放在项目主页。对照覆盖这 9 页官方会议正文、致谢和参考文献,不含单独的补充视频。