这个阶段一直在做和梯度一类算法相关的东西，索性在这儿做个汇总，
一、算法论述
梯度下降法(gradient descent)别名最速下降法（曾经我以为这是两个不同的算法-.-）,是用来求解无约束最优化问题的一种常用算法。下面以求解线性回归为题来叙述：
设：一般的线性回归方程（拟合函数）为：（其中的值为1）
则这一组向量参数选择的好与坏就需要一个机制来评估，据此我们提出了其损失函数为(选择均方误差)：
我们现在的目的就是使得损失函数取得最小值，即目标函数为：
如果的值取到了0，意味着我们构造出了极好的拟合函数，也即选择出了最好的值，但这基本是达不到的，我们只能使得其无限的接近于0，当
