BC
也称 Behavior Cloning
BC(Behavioral Cloning)把专家示范中的观察与动作当作监督样本,直接学习在给定观察下应该采取什么动作。
如何理解
行为克隆把策略学习转化为监督学习问题:模型接收示范中的观察,预测对应动作,再依据预测与示范的差异更新参数。它是模仿学习的一种常见方法。
部署后,策略自身的误差可能把机器人带到示范没有覆盖的状态。训练样本上的动作预测准确,并不保证连续执行任务时不会逐步偏离。
容易混淆的地方
BC 不需要先从示范中恢复奖励函数,也不代表模仿学习的全部方法。示范覆盖范围会直接影响部署表现。