keras学习率余弦退火CosineAnnealing
版权申诉
66 浏览量
2021-01-06
14:05:31
上传
评论
收藏 186KB PDF 举报
keras学习率余弦退火学习率余弦退火CosineAnnealing
keras学习率余弦退火学习率余弦退火CosineAnnealing1.引言2.余弦退火的原理3.keras实现
1.引言引言
当我们使用梯度下降算法来优化目标函数的时候，当越来越接近
Loss
值的全局最小值时，学习率应该变得更小来使得模型不
会超调且尽可能接近这一点，而余弦退火（
Cosine annealing
）可以通过余弦函数来降低学习率。余弦函数中随着
x
的增加余
弦值首先缓慢下降，然后加速下降，再次缓慢下降。这种下降模式能和学习率配合，以一种十分有效的计算方式来产生很好的
效果。
在论文Stochastic Gradient Descent with Warm Restarts中介绍主要介绍了带重启的随机梯度下降算法（带重启的随机梯度下降算法（SGDR）），其中就引
入了余弦退火余弦退火的学习率下降方式，本文主要介绍余弦退火的原理以及实现。并且因为我们的目标优化函数可能是多峰的（如下
图所示），除了全局最优解之外还有多个局部最优解，在训练时梯度下降算法可能陷入局部最小值，此时可以通过突然提高学
习率，来“跳出”局部最小值并找到通向全局最小值的路径。这种方式称为带重启的随机梯度下降方法。
评论0