无约束优化方法—共轭梯度法
1. 共轭梯度法
共轭梯度法是介于最速下降法与牛顿法之间的一个方法,它仅需利用一
阶导数信息,但克服了最速下降法收敛慢的缺点,又避免了牛顿法需要存储
和计算海赛矩阵并求逆的缺点,共轭梯度法不仅是解决大型线性方程组最有
用的方法之一,也是解大型非线性最优化最有效的算法之一。其基本思想是
利用负梯度方向,构造一共轭方向,使其尽快达到最优点。共轭梯度法迭代
过程如图 1 所示。
O
x
1
X
2
X
(k)
X
(k+1)
g
(k+1)
X
*
S
(k+1)
S
(k)
=
-
g
(k)
-
β
(k)
S
(k)
图 1 共轭梯度法迭代过程
k 1
x
点是沿
k
x 点负梯度方向
K k
S g
搜索到的极值点。如果
接着从
k 1
x 点出发,不是按着其负梯度方向
k
g
搜索,而是沿着通过
*
x
点
的方向
1K
S
搜索,显然立即就能搜索到极值点
*
x 。根据共轭理论,它们应
当满足
评论0