Tensorflow 深度学习笔记（二）梯度下降法

2020年2月19日12:54:18 导数、偏导数、方向导数、梯度 导数，指的是一元函数中，函数y=f(x)在某一点处沿x轴正方向的变化率； 偏导数，指的是多元函数中，函数y=f(x1,x2,…,xn)在某一点处沿某一坐标轴（x1,x2,…,xn）正方向的变化率。 方向导数， 某一点在某一趋近方向上的导数值。 梯度，函数在某一点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值。 梯度的提出只为回答一个问题： 函数在变量空间的某一点处，沿着哪一个方向有最大的变化率？ （eg.三维曲面上某一点处有不同的方向，每个方向对应一个方向导数，而这个最大的方向导数就是梯