这篇文档是清华大学电子工程系最优化方法作业的一部分，主要探讨了两个知识点：1) 向量组关于对称正定矩阵的共轭性证明，以及2) 在FR共轭梯度法中的应用。
我们关注第一个问题。给定一组线性无关的向量 \( p(1), p(2), \ldots, p(n) \in \mathbb{R}^n \) 和一个对称正定矩阵 \( H \)。定义向量 \( d(k) \) 如下：
\[ d(k) = p(k) - \sum_{i=1}^{k-1} \frac{[d(i)^T H p(k)][d(i)^T H d(i)]}{d(i)^T H p(i)} d(i), \quad k = 2, \ldots, n \]
要证明 \( d(1), d(2), \ldots, d(n) \) 关于 \( H \) 共轭，即 \( d(i)^T H d(j) = 0 \) 对于所有的 \( i \neq j \)。证明使用了数学归纳法：
- 基础情况：对于 \( k=2 \)，可以验证 \( d(1)^T H d(2) = 0 \)。
- 归纳步骤：假设对于 \( k < n \)，\( d(1), d(2), \ldots, d(k) \) 关于 \( H \) 共轭，然后证明 \( d(k+1) \) 也满足条件。这通过计算 \( d(i)^T H d(k+1) \) 并利用归纳假设来完成，最终得出 \( d(i)^T H d(k+1) = 0 \)。
通过这个过程，可以得出结论：由于数学归纳法的应用，所有 \( d(k) \) 都关于 \( H \) 共轭。
接下来，我们来看第二个问题，涉及FR共轭梯度法在求解具有三个变量的函数 \( f(x) \) 的应用。在第一次迭代中，搜索方向 \( d(1) = [1, -1, 2]^T \)，并且沿着这个方向进行精确的一维搜索得到 \( x(2) \)。已知 \( f(x) \) 在 \( x(2) \) 处的梯度分量为 \( \frac{\partial f(x(2))}{\partial x_1} = -2 \) 和 \( \frac{\partial f(x(2))}{\partial x_2} = -2 \)。
FR共轭梯度法规定，新的搜索方向 \( d(2) \) 应该满足 \( g_2^T d(1) = 0 \)，其中 \( g_i \) 表示在 \( x(i) \) 处的梯度。这里，\( g_2 = [-2, -2, 0]^T \)。根据FR共轭梯度法，我们有 \( g_1 = -d(1) \) 并计算 \( \beta_1 \)：
\[ \beta_1 = \frac{g_2^T g_2}{g_1^T g_1} = \frac{4}{3} \]
因此，第二次迭代的搜索方向 \( d(2) \) 由以下公式给出：
\[ d(2) = -g_2 + \beta_1 d(1) = \left[\frac{10}{3}, \frac{2}{3}, \frac{8}{3}\right]^T \]
总结来说，这个作业涉及了线性代数中的向量共轭性和优化方法中的FR共轭梯度法。前者通过数学归纳法证明了一组特殊向量的共轭性质，后者则展示了如何在实际问题中应用共轭梯度法进行迭代优化。
评论0