拟牛顿法线性搜索
拟牛顿法是一种优化算法，用于寻找目标函数的最小值。它是牛顿法的直接推广，通过在试探点附近的二次逼近引进牛顿条件来确定线搜索方向。
拟牛顿法的优点是可以克服牛顿法的缺点，例如要求海森矩阵可逆和计算二阶导数和逆矩阵，这增加了计算机计算量。拟牛顿法可以保持较快收敛速度的优点，同时减少计算量。
拟牛顿法的基本步骤为：
1. 给定初始点，初始对称正定矩阵及精度。
2. 计算搜索方向。
3. 作直线搜索，计算。
4. 判断终止准则是否满足。
5. 令置，转步骤（2）。
拟牛顿法有多种形式，本文主要介绍两种拟牛顿法：DFP算法和BFGS算法。
DFP算法的基本步骤为：
1. 给定初始点，初始矩阵及精度。
2. 若，则停止，极小点为否则转步骤3）。
3. 取，且令。
4. 用一维搜索法求，使得，令，转步骤5）。
5. 停止，极小值点为否则转步骤6）。
6. 若，令，转步骤3）。
7. 令，取，置，转步骤4）。
BFGS算法的基本步骤与DFP算法类似，但有一些不同之处。
拟牛顿法的MATLAB程序调用格式为：
function [x,minf]=minDFP(f,x0,var,eps)
其中，f为目标函数，x0为初始点，var为自变量向量，eps为精度，x为目标函数取最小值时的自变量值，minf为目标函数的最小值。
在MATLAB中，拟牛顿法的实现可以使用以下代码：
function [x,minf]=minDFP(f,x0,var,eps)
%目标函数:f;
%初始点:x0;
%自变量向量:var;
%精度:eps;
%目标函数取最小值时的自变量值:x;
%目标函数的最小值:minf;
format long;
if nargin==3
eps=1.0e-6;
end
x0=transpose(x0);
n=length(var);
syms l;
H=eye(n,n);
gradf=jacobian(f,var);
v0=Funval(gradf,var,x0);
p=-H*transpose(v0);
k=0;
while 1
v=Funval(gradf,var,x0);
tol=norm(v);
if tol<=eps
x=x0;
break;
end
y=x0+l*p;
yf=Funval(f,var,y);
[a,b]=minJT(yf,0,0.1);
xm=minHJ(yf,a,b);
x1=x0+xm*p;
vk=Funval(gradf,var,x1);
tol=norm(vk);
if tol<=eps
x=x1;
break;
end
if k+1==n
x0=x1;
continue;
else
dx=x1-x0;
dgf=vk-v;
dgf=transpose(dgf);
dxT=transpose(dx);
dgfT=transpose(dgf);
mdx=dx*dxT;
mdgf=dgf*dgfT;
fz=H*(dgf*(dgfT*H));
H=H+mdx/(dxT*dgf)-inv(dgfT*(H*dgf))*fz;
p=-H*transpose(vk);
k=k+1;
x0=x1;
end
end
minf=Funval(f,var,x);
format short;
同样，BFGS算法的MATLAB程序调用格式也类似。
拟牛顿法是一种高效的优化算法，广泛应用于科学计算、机器学习、数据分析等领域。
