常见的最优化方法总结.docx

常见的最优化方法总结 在计算机视觉领域中，常见的最优化方法是梯度下降法、牛顿法、高斯牛顿法等。这些方法都是用于解决非线性最小二乘问题的，具体来说，就是通过观察自变量和因变量数据，求非线性目标函数的系数参数，使得函数模型与观测量尽量相似。 1. 梯度下降法（Gradient Descent） 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法可以快速收敛到最优解。梯度下降法的基本思想是在一个近似点处选定一个有利于搜索方向，沿这个方向进行一维搜索，得到新的近似点。如此反复迭代知道满足预定的精度要求为止。 2. 牛顿法（Newton's Method） 牛顿法是梯度下降法的改进版本，牛顿法的收敛速度快于梯度下降法，但不稳定，计算也较困难。牛顿法的基本思想是使用目标函数的二阶导数信息来确定搜索方向。 3. 高斯牛顿法（Gauss-Newton Method） 高斯牛顿法是牛顿法的变种，高斯牛顿法解决非线性最小二乘问题的最基本方法，并且它只能处理二次函数。高斯牛顿法的基本思想是使用目标函数的雅可比矩阵信息来确定搜索方向。 4. 共轭梯度法（Conjugate Gradient Method） 共轭梯度法是一种迭代算法，收敛速度快，效果好。共轭梯度法的基本思想是在一个近似点处选定一个有利于搜索方向，沿这个方向进行一维搜索，得到新的近似点。如此反复迭代知道满足预定的精度要求为止。 5. 变尺度法（Scaling Method） 变尺度法是一种直接法，效率较高，常用 DFP 法（Davidon Fletcher Powell）。变尺度法的基本思想是在一个近似点处选定一个有利于搜索方向，沿这个方向进行一维搜索，得到新的近似点。如此反复迭代知道满足预定的精度要求为止。 6. 非线性最小二乘问题 非线性最小二乘问题来自于非线性回归，即通过观察自变量和因变量数据，求非线性目标函数的系数参数，使得函数模型与观测量尽量相似。高斯牛顿法解决非线性最小二乘问题的最基本方法，并且它只能处理二次函数。 7. 基本数学表达 梯度（gradient）是多元函数的各个偏导数组成的向量，以三元函数为例，其梯度为：∇f(x, y, z) = grad f(x, y, z) = (∂f/∂x, ∂f/∂y, ∂f/∂z) 黑森矩阵（Hessian matrix）是多元函数的二阶偏导数组成的方阵，描述函数的局部曲率，以二元函数为例：H(f(x, y)) = [∂²f/∂x² ∂²f/∂x∂y; ∂²f/∂y∂x ∂²f/∂y²] 雅可比矩阵（Jacobian matrix）是多元函数的一阶偏导数以一定方式排列成的矩阵，以二元函数为例：J(f(x, y)) = [∂f/∂x ∂f/∂y] 8. 正定矩阵 正定矩阵是一种实对称矩阵， 在线性代数里，正定矩阵有时会简称为正定阵。在线性代数中，正定矩阵的性质类似复数中的正实数。与正定矩阵相对应的线性算子是对称正定双线性形式（复域中则对应埃尔米特正定双线性形式）。 Judge's method 根据正定矩阵的定义及性质，判别对称矩阵 A 的正定性有两种方法： （1）求出 A 的所有特征值。若 A 的特征值均为正数，则 A 是正定的；若 A 的特征值均为负数，则 A 为负定的。 （2）计算 A 的各阶主子式。若 A 的各阶主子式均大于零，则 A 是正定的；若 A 的各阶主子式中，奇数阶主子式为负，偶数阶为正，则 A 为负定的。