4-机器学习系列（4）：提高深度网络性能之 - 优化算法及python实现1

机器学习系列（4）

提高深度网络性能之 - 优化算法

深度学习中反向传播的目标是，找到最优的参数(如W、b），使得代价函数（cost function）最小，如何使得代价函数更好收敛以及如何加快收敛过

程，分别对应着深度网络对精度和速度的要求，那么好的优化算法就显得至关重要了，一个好的优化算法能够大大提高整个团队的效率。本次将讨论反

向传播中的优化算法。

优化算法：

梯度下降

mini-bacth梯度下降

Python实现：

见文章内容

申明

本文原理解释及公式推导部分均由LSayhi完成，供学习参考，可传播；代码实现部分的框架由Coursera提供，由LSayhi完成，详细数据及代码可在

github查阅。

https://github.com/LSayhi/DeepLearning (https://github.com/LSayhi/DeepLearning)

微信公众号：AI有点可ai

优化算法

一、Bacth梯度下降

Bacth梯度下降指的是批量梯度下降（Batch Gradient Descent），是在寻找最优参数W和b的过程中，我们使用凸优化理论中的梯度下降方式，而

量梯度下降法已经通过向量化大大减小了训练时间，但是当训练集的数目很大的话，处理速度仍然很慢，因为你必须每次处理所有的训练样本，然

后更新参数，再不断迭代。Mini-bacth梯度下降把m个样本分成了很多子训练集，先处理一个子集，更新参数，然后再处理一个子集，再更新参数，

这样会让算法速度更快。

mini-bacth梯度下降速度比bacth梯度下降更快，但由于不是对整个训练集进行操作，最优化的过程“摆动性”更强，会在cost function会在最小值附近

摆动。

三、Stochastic梯度下降

Stochastic梯度下降即随机梯度下降，随机梯度下降可以看作是mini-batch的大小为1，这种方式最优化过程摆动性比mini-batch还要强，但是优点是

速度会比mini-batch还要快。

Figure 1 : SGD vs GD

"+" denotes a minimum of the cost. SGD leads to many oscillations to reach convergence. But each step is a lot faster to compute for SGD than

Figure 2 : SGD vs Mini-Batch GD

Momentun梯度下降实现方式，, \beta is the momentum and \alpha is the learning rate.

Figure 3: The red arrows shows the direction taken by one step of mini-batch gradient descent with momentum. The blue points show the direction of

the gradient (with respect to the current mini-batch) on each step. Rather than just following the gradient, we let the gradient influence and then take

a step in the direction of .

五、RMSprop

RMSprop可以加速梯度下降，momentum是对dW、db先指数加权平均，而RMSprop是对dW、db的平方指数加权平均，更新参数时也不同，详见

公式。以二维平面为例，这样做的效果是，减缓纵轴方向，加快横轴方向，当然处于高维空间时，RMSprop同样是消除摆动，加快收敛。

六、Adam

Adam算法是Adapitive Moment Estimation。深度学习的历史中出现了很多优化算法，有许多适用有局限，momentum和RMSprop是两种经受住考

验的算法，而Adam算法就是将两种算法结合的算法，这是一种极其常用的算法，被证明能适用于不同的神经网络结构。

七、学习率衰减