2017-2021年研究生《高等数值分析》试卷及答案

根据给定文件的部分内容，我们可以总结出以下几个关键知识点： ### 1. 最小化问题的求解 #### 1.1 函数 \(F(x)\) 的导数计算 - **函数定义**：设 \(F(x) = (A(x + th) - b, A(x + th) - b) + \lambda(x + th, x + th)\)，其中 \(A\) 为矩阵，\(x\), \(b\), \(h\) 为向量，\(\lambda\) 为标量。 - **导数计算**：计算 \(F(x)\) 在 \(t = 0\) 处关于 \(t\) 的导数得到 \(F'(x) = 2(Ax - b, Ah) + 2\lambda(x, h) = 0\)。 - **结果**：最终得到 \(F'(x) = 2\lambda x + 2A^T(Ax - b) = 0\)。 #### 1.2 正则化参数 \(\lambda\) 的选择 - **问题背景**：在解决病态方程组 \(Ax = b\) 时，引入正则化参数 \(\lambda\)。 - **作用**：当 \(\lambda\) 接近于 0 时，解 \(x_{\lambda}\) 收敛到 \(Ax = b\) 的精确解；\(\lambda\) 很小时求解不稳定；\(\lambda\) 很大时解的相对误差增大。 - **结论**：需要选择合适的 \(\lambda\) 来平衡稳定性与精度。 #### 1.3 变分原理 - **条件**：设 \(A \in \mathbb{R}^{n\times n}\) 为对称正定矩阵。 - **等价关系**：\(Ax' = b\) 当且仅当 \(\varphi(x') = \min\varphi(x)\)。 - **证明思路**： - 设 \(\varphi(x + \lambda y) = 2\lambda^2(Ay, y) + \lambda(Ax - b, y) + \varphi(x)\)。 - 若 \(Ax' = b\)，则 \(\varphi(x + \lambda y) = 2\lambda^2(Ay, y) + \varphi(x') > \varphi(x')\) 对所有 \(\lambda, y\) 成立。 - 因此，\(\varphi(x') = \min\varphi(x)\)。 ### 2. 下降法及其应用 #### 2.1 下降方向的选择 - **基本思想**：通过选择合适的下降方向来迭代地减小目标函数的值。 - **方法对比**： - **最速下降法**：每一步都沿着负梯度方向下降。 - **共轭梯度法**：对于第 \(k\) 步后 (\(k > 1\))，不再选择负梯度方向，而是选择一个二维平面内的最快下降方向。 #### 2.2 具体步骤 - **初始化**：在 \(X_k\) 点找到一个下降方向 \(P_k\)。 - **步长确定**：确定步长 \(\varphi_k\)，使得 \(\varphi(X_k + \varphi_k P_k)\) 达到最小值。 - **迭代更新**：根据选择的不同下降方向形成不同的算法。 ### 3. 插值方法 #### 3.1 拉格朗日插值 - **定义**：给定点集 \(\{x_0, x_1, \ldots, x_n\}\) 和对应的函数值 \(\{y_0, y_1, \ldots, y_n\}\)，构造多项式 \(L(x)\) 使得 \(L(x_i) = y_i\)。 - **基函数**：\(\ell_i(x) = \prod_{j \neq i} \frac{x - x_j}{x_i - x_j}\)。 - **插值多项式**：\(L(x) = \sum_{i = 0}^n y_i \ell_i(x)\)。 #### 3.2 有理插值 - **概念**：相比于多项式插值，有理插值可以更好地处理非多项式的函数。 - **表格表示**：通过构建分段函数或维纳表 (Verner 表) 来确定插值函数。 ### 4. 正则化方法 #### 4.1 截断 SVD 方法 (TSVD) - **原理**：利用奇异值分解去除噪声影响较大的分量。 - **应用场景**：适合处理病态问题。 #### 4.2 Lavrentiev 正则化方法 - **特点**：通过添加额外项来改善病态问题的求解。 - **适用范围**：适用于线性不适定问题。 #### 4.3 Tikhonov 正则化 (吉洪诺夫正则化) - **形式**：在最小二乘问题中添加正则化项 \(\lambda \|x\|^2\)。 - **优点**：能够有效避免过拟合问题。 ### 5. 牛顿迭代法 #### 5.1 基本原理 - **目标**：求解方程 \(f(x) = 0\)。 - **迭代公式**：\(x_{k+1} = x_k - \frac{f(x_k)}{f'(x_k)}\)。 - **收敛速度**：在合适条件下，牛顿法具有二阶收敛速度。 #### 5.2 改进方法 - **简化牛顿法**：每次迭代使用近似 Hessian 矩阵。 - **阻尼牛顿法**：引入阻尼因子控制迭代步长。 - **信赖域方法**：通过限制每一步迭代的步长来提高稳定性。 这些知识点涵盖了高等数值分析中的核心概念和技术，包括最小化问题的求解、下降法的应用、插值方法以及正则化方法等。这些方法不仅在理论上有重要的地位，在实际应用中也具有广泛的价值。