共轭梯度法（Conjugate Gradient Method）是一种在数值分析和优化领域广泛使用的求解线性系统的迭代方法，尤其适用于大型稀疏矩阵问题。它主要用于解决形如 Ax=b 的线性方程组，其中 A 是对称正定矩阵，x 和 b 分别是未知向量和已知向量。在机器学习、数据挖掘、工程计算等领域，由于计算效率高且内存需求相对较小，共轭梯度法成为了求解这类问题的首选算法。
在 MATLAB 环境中实现共轭梯度法，主要涉及以下几个关键步骤：
1. **初始化**：首先需要初始化解的估计 x0 和搜索方向 p0，通常选择 x0 为零向量，p0 为 b 的单位向量，即 p0 = b / norm(b)。
2. **主循环**：共轭梯度法的核心是一个迭代过程，直到达到预设的终止条件（如残差小于某个阈值或达到最大迭代次数）。每个迭代周期包括以下步骤：
- **计算残差**：r = b - Ax，其中 r 代表当前迭代的残差。
- **更新 α 参数**：α = (r^T * r) / (p^T * Ap)，其中 α 是一个标量，用来调整搜索方向。
- **更新解的估计**：x = x + α * p，即沿着当前搜索方向 p 更新解。
- **更新下一个搜索方向**：如果这不是最后一次迭代，需要找到一个新的共轭方向。p = -Ap + β * p，其中 β = (r^T * Ap) / (p^T * Ap)，确保新方向与之前的所有方向都是共轭的。
- **更新残差**：r = r + α * Ap。
3. **终止条件**：在每次迭代后，检查残差是否满足预定的精度要求，如 ||r|| < ε * ||b||，其中 ε 是一个预先设定的容忍度。
4. **返回解**：当满足终止条件后，返回解 x 作为 Ax=b 的近似解。
在 MATLAB 中编写共轭梯度法的函数，可以使用如下结构：
```matlab
function x = conjugateGradient(A, b, tol, maxIter)
% 初始化
x = zeros(size(A, 2), 1);
r = b;
p = r / norm(r);
% 主循环
for k = 1:maxIter
Ap = A * p;
alpha = (r' * r) / (p' * Ap);
x = x + alpha * p;
r = r - alpha * Ap;
if norm(r) < tol * norm(b)
break;
end
beta = (r' * r) / (p' * Ap);
p = r + beta * p;
end
% 返回解
disp(['迭代次数：', num2str(k)]);
return x;
end
```
在这个例子中，`A` 表示矩阵，`b` 表示右侧项，`tol` 是容差，`maxIter` 是最大迭代次数。调用该函数时，会得到 Ax=b 的近似解。
在实际应用中，为了提高效率和处理稀疏矩阵，可以利用 MATLAB 提供的优化工具箱（optim toolbox）中的 `pcg` 函数，它已经内置了共轭梯度法的高效实现。不过，自己实现这个算法有助于理解其工作原理，并可以在特定情况下进行定制和优化。
