无约束优化
1. 梯度下降
1. 1. 方向导数
1. 2. 方向导数与偏导数的关系
1. 3. 梯度
1. 4. 梯度与方向导数的关系
1. 5. 梯度与等高线的关系
1. 6. 梯度下降法
2. 牛顿法
2. 1. 零点求解
2. 2. 牛顿法
3. Adam
4. 参考链接
1. 梯度下降
1.1. 方向 导数
设 在 的某邻域内有定义， 是平面上一个单位向量，若
存在，则该极限值就是 在 点沿 方向的方向导数，记
作
若 可微，则
陷阱：上述公式仅限于可微前提下，若不可微，必须回归方向导数的定义。
1.2. 方向 导数与偏导数的关系
方向导数定义：
偏导数定义：
评论0