机器学习中的梯度下降算法

梯度下降原理算法 线性回归中，我们使用最小二乘法，能够直接计算损失函数最小值时的参数值，但是，最小二乘法有使用的限制条件，在大多数机器学习的使用场景之下，我们会选择梯度下降的方法来计算损失函数的极小值，首先梯度下降算法的目标仍然是求最小值，但和最小二乘法这种一步到位、通过解方程组直接求得最小值的方式不同，梯度下降是通过一种“迭代求解”的方式来进行最小值的求解，其整体求解过程可以粗略描述为，先随机选取一组参数初始值，然后沿着某个方向，一步一步移动到极小值点 。 梯度下降法的基本思想可以类比为一个下山的过程： 一个人 被困在山上，需要从山上下来，然后寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走。