共轭梯度法是一种用于求解无约束优化问题的迭代方法,尤其是当问题的目标函数是连续可微的,且在高维空间中求解时,共轭梯度法显示了其优越性。无约束优化问题通常形式化为寻找一个变量向量x,使得目标函数f(x)取得最小值,即min f(x),其中x属于n维实数空间R^n。
在陈岩和陈忠的研究中,提出了一种新的共轭梯度法,并对其全局收敛性进行了证明。研究中引入了搜索方向dk,该方向由当前位置的负梯度gk和前一步的搜索方向dk-1共同决定,通过引入参数βk来调整。该共轭梯度法的迭代公式如下:
x_{k+1} = x_k + \alpha_k d_k
d_k = -g_k + \beta_k d_{k-1}, k \geq 2
其中,g_k 是目标函数在x_k处的梯度,α_k 是通过线搜索算法确定的步长,β_k 是决定搜索方向共轭性的关键参数,其选取方式影响着算法的性能。
线搜索是共轭梯度法中的一个关键步骤,其目标是找到一个合适的步长α_k,使得目标函数沿搜索方向dk的减少尽可能大。研究采用了非精确线搜索方法,要求满足的条件为:
f(x_k + \alpha_k d_k) \leq f(x_k) + \delta \alpha_k g_k^T d_k
以及
\sigma_1 g_k^T d_k \leq -g(x_k + \alpha_k d_k)^T d_k \leq -\sigma_2 g_k^T d_k
这里的\sigma_1、\sigma_2和\delta均为常数,且满足0 \leq \delta \leq \sigma_1 < 1,\sigma_2 \geq 0,以及\sigma_1 + \sigma_2 \leq 1。
为了保证搜索方向dk具有足够的下降性,即确保每次迭代能够沿着目标函数值减小的方向前进,文章对目标函数f(x)和梯度g(x)提出了两个基本假设:f(x)在R^n上是连续可微的,并且存在下界;g(x)是Lipschitz连续的,这意味着存在常数L>0,使得任意两点x、y间的梯度差异的范数小于等于L乘以这两点间的范数差异。
研究中证明了在适当的条件下,提出的共轭梯度法具有全局收敛性质。这表明无论初始点如何选择,迭代序列最终都会收敛到目标函数的最小值点。
为了提高算法的效率和稳定性,研究者们对共轭梯度法中的βk参数进行了改进,通过引入参数u,并给出了其取值条件。这种新的共轭梯度法是一种包含了经典共轭下降法以及其他改进共轭梯度法优点的方法,它能够使迭代序列在全局收敛的同时,还能确保每次迭代的下降性。
文章还对算法的收敛速度进行了分析,提出了改进Wolfe准则。该准则给出了在每一步迭代中确定步长α_k的严格条件,这些条件不仅保证了目标函数值的减少,还有助于算法尽快地逼近最优解。
陈岩和陈忠的研究提供了一种新的共轭梯度法,并且详细证明了其在无约束优化问题求解中具有良好的全局收敛性,为相关领域的研究和应用提供了新的思路和技术支持。