其中
是主网络在第
次迭代时，在状态
下采取动作
所估计的动作价
值，
是由奖励
和目标网络计算组合得到的目标值。特别地，由于目标网络每
隔
次迭代与主网络参数同步一次，因此除了初始时相同，其余时候的目标网络
参数为上次同步，即第
次迭代的参数。
2.2.3 模型训练技巧
平衡探索与利用：这是强化学习方法中几乎无法避开的主题，探索和利用的
平衡牵涉到模型性能和训练效率，因此需要设置合适地训练策略来使得 agent 平
衡探索和利用。在本节的实现中，探索与利用的平衡主要通过训练时选择动作所
使用的 epsilon-greedy 策略来实现，更具体而言是由参数 epsilon 控制。本节方法
首先在前期一定步数内只进行完全随机动作选择来进行探索。此外还采用了指数
衰减式的动态
epsilon
，使得训练前期可以进行最大化的探索，而在后期则最大
化利用
agent
学习的策略。如下式，在第
步时的
定义为：
其中
为
epsilon
在起步时的最大值，
为衰减结束时的最小值，
为衰减过程控制系数，
越大，衰减过程越长。当 t 不断增大，
的值将不
断逼近
。
Gym 环境配置：Gym 提供了 wrapper 方式对环境进行修改配置，结合训练
效率方面的考虑，需要对环境的可观测状态进行和每幕结束时机进行修改。
在
Breakout-v5
环境中，可观测状态主要是一幅三通道彩色图像，形状为
(210,
160, 3)
，值为
[0,255]
的
8bit
无符号整数。由于彩色在此游戏中并没有特殊含义，
去除后不影响游戏进行，因此首先将将图像的三通道彩色通过
OpenCV
库处理为
单通道灰度图，形状为(210, 160)。进一步地，为了节省存储空间，加快训练速
度，将该灰度图压缩变形为
(84, 84)
的方形图像。此外，在
Breakout
游戏中，玩
家每次有
5
次机会，当小球第
5
次掉落时游戏结束，只能重置。为了使得
agent
学习到不让小球掉落的重要性，训练时将每次小球掉落作为一幕的结束，而本文
若无特殊说明，则一幕仍指以第
5
次小球掉落为结束的一局游戏。
2.3 Advantage Actor-Critic
本节的 Advantage Actor-Critic (A2C)方法和上节的 Double DQN 方法相似，也
具有两个网络，一个为 Critic 网络，一个为 Actor 网络。但不同之处为 Critic 网
络用于近似价值函数，而 Actor 网络用于建模策略分布。 在 Actor-Critic 方法中，
使用优势函数 (Advantage Function)作为 baseline 来评估执行某个动作相对于在
给定状态下的平均动作的优势，并提供策略梯度，即为 A2C 方法。Advantage
的引入使得 Agent 能够更准确地了解每个动作相对于平均水平的好坏，从而更有
