没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
from https://zhuanlan.zhihu.com/p/37108430
凸优化的基本介绍
凸优化理论是最优化理论中最重要的组成部分,大多数经典的机器学习模型实际上都是在求解凸优化问题,比如线
性回归、logistics回归和SVM等。凸优化问题的优势在于,其局部最优解就是全局最优解。因此,对于一个凸优化
问题,我们总能找到它的全局最优解,而不用担心陷入局部最优的情况,使得凸优化问题的求解相对比较容易。
本笔记将主要介绍凸优化的一些基本概念,包括凸集、凸函数和凸优化问题的定义。主要参考如下资料:
理解凸优化
1. 凸集
凸集的定义是:对于n维空间中点的集合C,如果对集合中的任意两点x和y,以及实数 ,都有
式(1.1)的意义是,一个凸集中任意两点之间的线段必定也在该集合内。从几何意义上来说,凸集的边界是凸
的,没有凹进去的地方。
下图是凸集(左)和非凸集(右)的示意图
实际问题中几个常见的凸集的例子:
1)全空间
显然, 维实向量空间 是一个凸集。这一结论的意义在于,如果一个优化问题不带任何约束(即可行域为
),那么其可行域是一个凸集。
2)仿射子空间
给定 行 列的矩阵 和 维向量 ,仿射子空间定义为如下向量的集合:
它对应于非齐次线性方程组的解空间。
不难证明,仿射子空间是一个凸集。这一结论的意义在于,如果一组约束是线性等式约束,那么它定义的可行域是
一个凸集。
3)多面体
多面体定义为:
Xhinking
- 粉丝: 24
- 资源: 320
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0