在深度强化学习领域，算法的过估计问题一直是研究者们关注的重点。过估计问题主要是指在使用Q-learning算法进行值函数估计时，由于选择最大动作值进行近似导致对未来动作值的高估，这将可能导致算法学习到次优策略，影响智能体的学习效率和决策质量。为了解决这一问题，本研究提出了一种基于动态融合目标的深度强化学习算法——DTDQN（Dynamic Target Deep Q-Network）。
DTDQN算法结合了DQN和Sarsa算法的特点，通过动态融合机制来减少过估计的影响。DQN算法以其利用深度神经网络来逼近Q值表，并通过经验回放与目标Q网络来稳定学习过程而著称。然而，DQN算法有一个缺点就是它在处理估计值时会出现过估计现象。DTDQN算法正是为了改进这一点，通过在DQN的基础上融合Sarsa算法的在线更新目标，实现了动态调整和融合，从而达到减少过估计的目的。
在DTDQN算法中，通过融合Sarsa算法的在线更新目标，能够动态地结合DQN算法和Sarsa算法各自的优势。Sarsa算法是一种在线Q-learning算法，它在每个步骤中更新当前状态下的动作值，而不需要像DQN那样在某些时刻批量更新。这种在线更新的特性使得Sarsa对于状态转移变化更敏感，有助于减少过估计的影响。DTDQN正是利用了Sarsa的这一特性，在DQN的结构中加入对Sarsa在线更新目标的融合，从而减少值函数的过估计，并提高了学习性能和训练稳定性。
为了验证DTDQN算法的有效性，研究者们在OpenAI Gym提供的Cart-Pole控制问题上进行了仿真对比实验。Cart-Pole问题是一个经典的强化学习控制问题，目的是通过控制一个水平移动的推车，使得一个倒立的单摆保持平衡。在实验中，DTDQN算法与传统的DQN算法进行了对比。实验结果表明，DTDQN算法在减少值函数过估计方面效果显著，并且在学习性能和训练稳定性方面都有了明显的提升。这说明DTDQN算法能够更准确地逼近最优策略，为智能体提供了更为可靠的决策依据。
关键词“深度强化学习”强调了算法研究的领域，即深度学习与强化学习的结合。“过估计”点出了算法研究要解决的问题核心。“更新目标”与“动态融合”则描述了DTDQN算法的关键技术手段，即利用Sarsa算法的更新机制来动态调整目标值，从而实现融合两种算法优势的目的。
本研究为深度强化学习领域提供了一种新的思路和技术手段，对于提高智能体的学习能力和决策质量具有重要的理论和应用价值。针对实际应用中的各种动态环境，DTDQN算法能够提供更为稳定和准确的学习策略，为智能体在复杂环境中的应用提供了技术支持。
