没有合适的资源?快使用搜索试试~ 我知道了~
凸优化作为一个重要的工具,在它在各种领域都有着广泛的应用。通信工程中的优化问题,机器学习中的优化问题。凸集,凸函数,凸优化问题,对偶函数;学习Boyd的convex optimization时做的笔记
资源推荐
资源详情
资源评论
1
凸优化笔记
目录
Ⅰ. Introduction ............................................................................................................................. 3
1. mathematical optimization(一般的优化问题) ....................................................... 3
2.convex optimization ........................................................................................................ 3
3.一个例子:照明 ............................................................................................................. 4
4.一些补充 ......................................................................................................................... 5
Ⅱ. Convex sets ............................................................................................................................ 5
1.convex set vs affine set .................................................................................................... 5
2.常见的凸集 ..................................................................................................................... 6
a.凸锥 ......................................................................................................................... 6
b.重要简单的凸集 ..................................................................................................... 6
c.超平面(Hyperplane)和半空间(Half space) ................................................. 6
d.欧几里得球(Euclidean ball)与椭球(ellipsoid) ............................................ 6
e.范数球(norm ball)与范数锥(norm cone) ..................................................... 7
f.多面体(polyhedra) .............................................................................................. 7
g.半正定锥 ................................................................................................................. 7
3. Operations that preserve convexity(保凸运算)(对于凸集) ......................................... 7
a.交集 intersection .................................................................................................... 7
b.仿射 ........................................................................................................................ 7
c.透视(perspective)和线性分式函数(line-fractional) ................................... 7
Ⅲ.凸函数 ................................................................................................................................... 8
1.定义(包括定义,条件 都可以用来判凸依据) ........................................................... 8
a.定义一 ..................................................................................................................... 8
b.定义二 ..................................................................................................................... 8
c.扩展值延伸(extend-value extension) ................................................................ 9
d.一阶条件(定义三) ............................................................................................. 9
f.二阶条件(定义四) .............................................................................................. 9
2.常见的凸(凹)函数 ................................................................................................... 10
a.Example on R: ....................................................................................................... 10
b.Example on : .................................................................................................. 10
3.下水平集(sublevel set)与上境图(epigraph) ..................................................... 10
4.Jensen 不等式 .............................................................................................................. 12
5.保凸运算(对于函数) .............................................................................................. 13
a.非负加权和(nonnegative weighted sums) ....................................................... 13
b.复合仿射映射(composition with affine function) .......................................... 13
c.逐点最大和上确界(pointwise maximum and supremum) .............................. 13
d.复合函数(composition) ................................................................................... 13
e.最小化(minimization) ...................................................................................... 14
2
g.透视函数(perspective) ..................................................................................... 15
6.拟凸函数(Quasiconvex functions) .......................................................................... 15
a.定义 ....................................................................................................................... 15
b.性质(Jensen 不等式,一阶二阶条件)(也可以作为判定依据) ..................... 16
d.保拟凸运算 ........................................................................................................... 18
Ⅳ.凸优化问题 ......................................................................................................................... 18
1. 一般优化问题 ........................................................................................................ 18
a. 基本术语 ............................................................................................................. 18
b. 问题的标准表示 ................................................................................................. 20
c. 等价问题 ............................................................................................................. 21
d. 参数与谕示问题描述 ......................................................................................... 24
2.凸优化问题 .................................................................................................................. 25
a.标准形式的凸优化问题 ....................................................................................... 25
b.局部最优解和全局最优解 ................................................................................... 26
c.可微函数的最优性准则 .................................................................................. 26
d.等价的凸问题 ....................................................................................................... 28
e. 拟凸优化 ............................................................................................................. 30
Ⅴ.对偶(duality) ........................................................................................................................ 30
1. Lagrange 对偶函数 .................................................................................................. 30
a. Lagrange ............................................................................................................ 30
b. Lagrange 对偶函数 ........................................................................................... 30
c. 一些例子 ............................................................................................................. 32
d. Lagrange 对偶函数和共轭函数 ....................................................................... 33
•一旦将一个问题表述为凸优化问题,基本上意味着相应问题已经得到彻底解决;
•用凸优化模型对一般性非线性模型进行局部逼近,是研究非线性规划问题的主要途径
•对于非凸问题,往往需要对求解“局部解”或“全局解”作出权衡。后者需要基于凸优
化基础
基本概念(1 2 3);几类基本凸优化问题(4);特殊的凸优化问题(5);后者到前者变
换方法
判断、描述、求解凸优化问题
下面是知乎上一些不错的笔记:
https://www.zhihu.com/column/convex;
https://www.zhihu.com/column/c_1499827373205381120;中科大凸优化
https://www.zhihu.com/column/c_1201908961185931264;
3
Ⅰ. Introduction
1. mathematical optimization(一般的优化问题)
solution or optimal point
has smallest value of
among all vectors that satisfy the
constraints
•最小二乘问题(least-squares problems):有解析解
•线性规划问题(linear programming problems )没有一个简单的解析表达式
•凸优化问题(convex optimization problems):通常没有解析解,但是有有效的数值解法
(前两个是凸优化的特殊情况)
2.convex optimization
4
凸优化问题中的关键:
•难以判断一个问题是否为凸的
•将一个问题转化为凸问题需要很多的技巧(tricks)
3.一个例子:照明
目标函数:最小化 中最大的
限制条件:功率非负;最大功率
Solve:
① 最小二乘法
加权的 least-squares
② 线性规划
③ 凸优化
5
4.一些补充
最小二乘法解释:https://zhuanlan.zhihu.com/p/38128785;
矩阵求导:https://blog.csdn.net/daaikuaichuan/article/details/80620518;
https://blog.csdn.net/lansatiankongxxc/article/details/44992709;
Ⅱ. Convex sets
1.convex set vs affine set
简单区分一下(不是严格的数学语言)
仿射集(Affine set):
包含了通过在集合中任意两点的直线;
(仿射集都可以表示为线性方程组的解集;反过来,解集也是一个仿射集合)
凸集(convex set):
包含了通过在集合中任意两点的线段;(从几何上判断直观)
仿射集一定是凸集;
仿射组合,凸组合;仿射包,凸包;
凸包
是包含 C 的最
小的凸集。
剩余38页未读,继续阅读
资源评论
seu豪豪
- 粉丝: 0
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功