人工智能与机器学习人工智能与机器学习-梯度下降法梯度下降法
人工智能与机器学习人工智能与机器学习-梯度下降法梯度下降法
一、梯度下降法概述一、梯度下降法概述
梯度下降法（Gradient descent）是一个一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距
离点进行迭代搜索。
二、梯度下降法直观理解二、梯度下降法直观理解
以人下山为例，要到达最低点，需要以下步骤：
第一步，明确自己现在所处的位置
第二步，找到相对于该位置而言下降最快的方向
第三步，沿着第二步找到的方向走一小步，然后到底一个新的位置，这时候的位置就比原来更低
第四步，又明确当前所处位置，即回到第一步
第五步，到底最低点后就停下
基于以上步骤，就能够找到最低点，以下图为例
三、多元函数的梯度下降解法三、多元函数的梯度下降解法
以y（x）函数为例，这个函数具有n+1个自变量：
首先需要设置下降的初始位置，随意设置即可：
接下来需要对每一个自变量求偏导：
将设置的初始值代入偏导的公式，接下来进行迭代的公式：
上式中的α为学习率，也可叫做步长
四四.实例实例
1、、Python与与Excel分别使用梯度下降法求解极小值与极小点分别使用梯度下降法求解极小值与极小点
（（1）、）、Excel使用梯度下降法求解极小值与极小点使用梯度下降法求解极小值与极小点
需要设置下降的起始位置与学习率的值：
通过设置的起始位置去计算自变量的偏导、偏导与学习率的乘积以及最终的函数值：
已经知道第一行的信息，也就可以计算出第二行的信息，然后根据第二行的信息进行迭代求极值，因为第一行的计算公式与第二行的计算公式有所不同，但第二行与后面的计算公式
评论0