凸优化第三章 -凸函数【清华大学出版社】

凸优化是一种重要的数学工具，广泛应用于机器学习、经济学和工程等领域。它研究的是如何找到在凸函数约束下的全局最优解，因为凸函数的全局最优解总是位于函数的局部最优解中，这使得求解过程相对简化。以下是关于“凸优化第三章 - 凸函数”的详细知识点： 1. **基本性质与例子**： - 凸函数定义：函数是凸的，如果对于所有在定义域中的点x和y以及任意的非负权重θ，都有f(θx + (1-θ)y) ≤ θf(x) + (1-θ)f(y)。相反，凹函数是凸函数的逆，而严格凸函数则要求不等式严格成立。 - 例如，最大值函数、对数-行列式函数和二次-线性分式函数都是凸函数的典型例子。 2. **保凸运算**： - 凸函数的一些运算如加法、乘以非负常数、最大值运算等会保持凸性。这意味着，如果f和g是凸函数，那么af + bg（a, b为非负常数）和max(f, g)也是凸函数。 3. **共轭函数**： - 函数f的共轭函数f*定义为f*(y) = sup{x*y - f(x)}，其中x*y表示内积。如果f是凸函数，那么它的共轭函数f*也是凸函数，且这一性质在凸优化中用于构建优化问题的对偶形式。 4. **拟凸函数**： - 拟凸函数不完全满足凸函数的定义，但在某些方面表现出类似的行为。这些函数在实际问题中有时会出现，处理它们的方法通常需要特殊的技巧。 5. **对数-凹函数和对数—凸函数**： - 对数-凹函数是指其负倒数是凸函数，例如，对数-行列式函数。这类函数在多元统计分析和信息理论中有重要应用。 - 对数-凸函数则指其对数是凸函数，它们在优化问题中经常作为目标或约束出现。 6. **一阶条件**： - 凸函数的一阶条件表明，如果函数f在其定义域内可微，那么其梯度向量∇f(x)的指向总是指向函数增长最快的方向。对于任意x, y和t，有f(tx + (1-t)y) ≤ tf(x) + (1-t)f(y)等价于∇f(x)·y ≥ 0，对所有x, y在同一定义域内。 7. **二阶条件**： - 如果函数二阶可微，那么它是凸的当且仅当其Hessian矩阵半正定，即对所有x，H(x) ≥ 0。这提供了一种检查函数凸性的更强大方法，特别是对于高维问题。 8. **下水平集和上境图**： - 凸函数的下水平集，即{ x | f(x) ≤ α }，是凸集，因为它们是由所有小于等于α的函数值形成的集合。这有助于理解凸函数的几何特性。 - 函数的上境图，即{ (x, z) | z ≤ f(x) }，是其在二维空间中的图形上方的区域，对于凸函数，这个区域也是凸的。 在实际问题中，这些概念被用来构造和解决各种优化问题，如线性规划、二次规划和凸优化的更复杂形式。通过理解和掌握这些知识点，我们可以有效地寻找问题的全局最优解，避免陷入局部最优。在机器学习中，如支持向量机和深度学习的训练过程中，凸优化是求解模型参数的关键技术。在经济学中，凸优化用于求解资源分配和投资组合优化等问题。