IL
也称 Learning from Demonstration
IL(Imitation Learning)利用专家示范学习行动方式。机器人示范通常记录观察与动作,使策略学习在相似条件下应该如何操作。
如何理解
行为克隆是其中一种直接的方法:把示范中的观察作为输入,把专家动作作为学习目标,通过监督学习训练策略。示范可以由人操控机器人采集,ALOHA 就采用遥操作收集真实操作数据。
难点在于执行时的小偏差会改变机器人后续遇到的状态。如果这些状态没有出现在示范里,策略可能难以恢复,误差继续累积。因此评估时需要关注偏离示范后的表现,而不仅是动作预测是否接近。
容易混淆的地方
模仿学习不等于回放一段固定轨迹,行为克隆也不代表全部模仿学习方法。学到示范中的动作关系,不代表已经覆盖所有环境变化或恢复动作。