World Model
在这里指学习环境如何随动作变化的模型,用来预测可能的后续状态,并为控制策略的学习或决策提供依据。
如何理解
模型从交互经验中学习环境变化规律,使智能体能够在内部表示中推演行动后果。预测对象不一定是可观看的视频,也可以是压缩的潜在状态;关键在于这些预测是否对任务决策有用。
Dreamer 在学得的世界模型中生成潜在状态轨迹,并利用这些想象轨迹学习行为。这里讨论的是面向控制的用法:模型描述可能发生什么,策略决定采取什么动作,两者承担不同的任务。
容易混淆的地方
世界模型在不同研究中范围不同。会生成逼真视频,不足以证明模型能准确预测机器人动作后果;本词条限定在交互、预测与控制的语境中。