25、n步时序差分预测1
需积分: 0 181 浏览量
2022-08-03
20:56:48
上传
评论
收藏 401KB PDF 举报
强化学习基础篇（二十五）n步时序差分预测
1、n步时序差分方法
之前在《强化学习基础篇（十七）时间差分预测》所介绍的是 算法，其更新过程仅仅依赖于当前
状态向下走一步的情况，将走一步走后的状态价值用于bootstrap更新。而蒙特卡洛方法是根据当前状态
开始到终止状态的整个收益序列进行状态价值的更新。这节介绍的n步时序差分(n-step TD)是基于
)的一步更新与MC对整个序列进行更新的两个极端之间的算法。从n步时序差分方法的回溯图中，我们可
以看到每个n步方法都考虑了从当前状态向下走n步的情况。
2、n步回报
如果我们考虑如下的n取值下的回报（ ）
那么我们可以进行泛化定义n步回报为：
根据n步回报修改 的更新方法为：
宏馨
- 粉丝: 20
- 资源: 293
评论0