高级工程数学_2021_11_041

在高级工程数学中，我们关注的是凸函数的概念及其性质，这些在优化问题、机器学习以及计算机科学的多个领域都有重要应用。以下是对标题和描述中提及的几个关键知识点的详细解释： 1. **凸函数定义**：一个函数f: R^n → R被称为凸函数，如果它的定义域dom f是凸的，并且对任意的x, y ∈ dom f及任意的α ∈ [0, 1]，有f(αx + (1 − α)y) ≤ αf(x) + (1 − α)f(y)。同时，如果-f是凸的，则f是凹函数。 2. **凸集**：一个集合C在R^n中是凸的，如果对于所有x, y ∈ C和所有α ∈ [0, 1]，有αx + (1 − α)y仍然在C内。 3. **Jensen不等式**：对于所有x1, ..., xm ∈ dom f和正权重α1, ..., αm满足α1 + ... + αm = 1，有f(α1x1 + ... + αmxm) ≤ α1f(x1) + ... + αmf(xm)。这是凸函数的一个基本性质。 4. **凸函数的性质**： - 凸函数的图象（epigraph）是凸集。 - 凸函数是下连续的，即函数值在下极限中下界。 - 若fi (i = 1, ..., m)是凸的，λifi (λi > 0)的线性组合也是凸的。 - A为m×n矩阵，f是R^n上的凸函数，那么f(Ax)仍然是凸的。 - 凸函数的最大值集合也是凸的，即sup fi(x)在所有fi的定义域的并集中是凸的。 5. **一阶条件**：如果函数f可微，并且其定义域是凸的，那么f是凸的当且仅当对所有x, y ∈ dom f，有f(y) ≥ f(x) + ⟨∇f(x), y − x⟩。这里，∇f(x)是f在点x处的梯度，⟨·, ·⟩表示内积。 6. **二阶条件**：如果函数f可二次微分，且其定义域是凸的，那么f是凸的当且仅当所有二阶偏导数的混合部分 ≥ 0，即Hessian矩阵半正定。 7. **次梯度和次微分**：对于一个在开凸集C上的凸函数f，向量g ∈ RN称为x处的次梯度，如果对所有y ∈ C，有f(y) ≥ f(x) + ⟨g, y − x⟩。次微分是所有次梯度的集合，它在凸分析中用于刻画函数的局部行为，特别是在不可微的点。 8. **连续可微的凸函数**：一个连续可微的函数f是凸的，当且仅当对于所有x, y，有⟨∇f(x) − ∇f(y), x − y⟩ ≥ 0。这可以通过Jensen不等式和一阶条件推导得出。 这些概念和性质在处理优化问题时尤为重要，特别是无约束或凸约束优化问题。例如，次梯度和次微分在解决非光滑凸优化问题的算法设计中起到关键作用，如次梯度下降法。此外，凸函数的性质如Jensen不等式和一阶条件在证明函数性质和构建优化算法的理论基础时非常有用。