CuriosityDriven-PPO：通过引导功能松散的好奇心驱动探索

通过引导功能来放松好奇心驱动的探索 七月7，2018 描述 此回购是对OpenAI的论文《一个松散的重述。 该算法训练一种策略，使游戏完全摆脱内部预测错误产生的奖励。 该过程可以可视化为策略和试图预测环境未来状态的模型（称为前向动力学模型）之间的决斗。 该政策是通过培训的，除了将环境奖励替换为前向动力学模型的误差外。 更具体地说，用于PPO的奖励是前向动力学模型的预测的平方误差。 前向动力学模型的预测目标是环境中下一个状态的低维表示。 这称为内在奖励。 前向动力学模型越不准确，给定时间步长的奖励就越大。 这鼓励了政策寻求看不见的状态，并创建了一个强大的预测系统。 实施说明 此实现不包括Hindsight Experience Replay 此实现在PPO更新中使用广义优势估算（GAE）之前将固有奖励归一化。 这有助于防止由于值预测误差而造成的损失差异。 我不相信OpenAI版本可以做到