基于值函数迁移的启发式Sarsa算法

针对 Sarsa 算法存在的收敛速度较慢的问题，提出一种改进的基于值函数迁移的启发式 Sarsa 算法（VFT-HSA）。该算法将Sarsa算法与值函数迁移方法相结合，引入自模拟度量方法，在相同的状态空间和动作空间下，对新任务与历史任务之间的不同状态进行相似性度量，对满足条件的历史状态进行值函数迁移，提高算法的收敛速度。此外，该算法结合启发式探索方法，引入贝叶斯推理，结合变分推理衡量信息增益，并运用获取的信息增益构建内在奖赏函数作为探索因子，进而加快算法的收敛速度。将所提算法用于经典的Grid World问题，并与Sarsa算法、Q-Learning算法以及收敛性能较好的VFT-Sarsa算法、IGP-Sarsa算法进行比较，实验表明，所提算法具有较快的收敛速度和较好的稳定性。