从给定的部分内容来看，这份文档涉及的是数值最优化领域中的关键概念与计算方法，具体地，它聚焦于函数梯度、海森矩阵、一维搜索以及无约束优化中的几个重要算法。以下是对这些核心知识点的详细解释：
### 梯度与海森矩阵
在数值最优化中，梯度和海森矩阵是分析和理解函数行为的基础工具。
- **梯度（Gradient）**：梯度是一个向量，表示了函数在某一点处的方向导数最大值的方向。对于多元函数$f(x)$，其梯度$\nabla f(x)$可以表示为所有偏导数的集合：
\[
\nabla f(x) = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \ldots, \frac{\partial f}{\partial x_n} \right)^T
\]
如文档中的例子所示：
\[
\nabla f(x) = \begin{pmatrix} 2(x_1 - x_2) \\ -2x_1 + 2x_2 + 4x_3 \end{pmatrix}
\]
- **海森矩阵（Hessian Matrix）**：海森矩阵是一个方阵，包含了函数二阶偏导数的信息，用于判断函数的局部极值或鞍点。例如：
\[
\nabla^2 f(x) = \begin{pmatrix} -400x_2 + 1200x_1^2 + 2 & -400x_1 \\ -400x_1 & 200 \end{pmatrix}
\]
### 函数的局部最小值检验
- 当$\nabla f(x^*) = (0, 0)^T$时，点$x^*$可能是局部最小值点。
- 若海森矩阵$\nabla^2 f(x)$在$x^*$处正定，则$x^*$是局部最小值点。
### 一维搜索（Line Search）
一维搜索是在优化过程中寻找特定方向上的最优步长的关键步骤。文档中提到了几种常用的一维搜索方法：
- **黄金分割法**：通过黄金分割比例来划分搜索区间，逐步缩小直到找到满足精度要求的最小值点。例如，通过更新搜索区间$[a_k, b_k]$中的点$u_k$和$v_k$，并计算$f(u_k)$和$f(v_k)$来决定下一步搜索的方向。
### 无约束优化算法
- **梯度下降法**：选择一个负梯度方向作为搜索方向，即$d_k = -\nabla f(x_k)$。文档中提到的例子中，初始点$x_0$处的梯度方向与搜索方向的内积小于零，表明该方向是可行的下坡方向。
- **拟牛顿法**：通过构造近似的海森矩阵来加速收敛。文档没有提供具体的拟牛顿法示例，但通常这类方法会利用历史信息来更新搜索方向，以期获得更快的收敛速度。
### 函数的凹凸性与局部/全局最小值
- 函数的凹凸性决定了局部最小值是否为全局最小值。如果函数在其定义域上处处凹，则任意局部最小值都是全局最小值。
- 文档中还探讨了函数在不同点处的性质，如在$x^*=(1,1)^T$处是否为局部最小值，并验证了这一点通过检查海森矩阵的正定性。
### 总结
数值最优化是一门研究如何有效寻找函数最小值的学科，其中涵盖了梯度、海森矩阵、一维搜索、无约束优化算法等重要概念和技术。通过对这些知识点的深入理解，可以更好地解决实际问题中的优化需求，尤其是在机器学习、工程设计等领域。文档中提供的具体计算实例和理论分析，为我们提供了深入理解数值最优化原理的机会，有助于我们掌握这一领域的核心技能。
